Comment fonctionne la découverte de fichiers d’Index Manager

Ce document technique explique en détail comment Index Manager suit les modifications du système de fichiers et les processus impliqués lors du démarrage du service et en fonctionnement normal.

Les mécanismes qui alimentent l’indexation d’Index Manager

Quatre mécanismes sont à l’œuvre pour s’assurer que toutes les modifications apportées au système de fichiers sont enregistrées.

Au cours du démarrage du système, il s’agit de l’analyse complète récursive et de l’analyse de la liste des dossiers. En fonctionnement normal, les notifications de système de fichiers et les robots d’exploration maintiennent l’index sous contrôle. Ceux-ci sont décrits en détail ci-dessous.

Que se passe-t-il au démarrage du service ?

Lorsque le service Index Manager démarre, deux éléments sont prioritaires:

• Toutes les modifications qui se sont produites pendant que le service a été arrêté doivent être découvertes
• Le démarrage devrait être aussi rapide que possible

Pour ce faire, deux opérations sont initiées au démarrage :

1. Scan complet récursif

• Traverse la hiérarchie des dossiers de manière récursive à partir du dossier racine du dossier et trouve tous les fichiers valides.
• Seulement lorsque la liste des dossiers est vide (les listes de dossiers et de fichiers sont vidées lors des opérations de reconstruction et de nouvelle analyse).
• Peut prendre plus d’une heure pour de très grandes archives.

2. Scan de la liste des dossiers

• Découvre les changements survenus pendant l’arrêt du service.
• Analyse tous les dossiers avec une date modifiée qui diffère de la date et des dossiers connus avec une date inférieure à 30 minutes.
• Compare le contenu du dossier avec les fichiers connus pour découvrir les fichiers nouveaux, modifiés et supprimés.
• Les partages temporairement hors ligne ne sont pas analysés. Aucun fichier n’est supprimé.
• Prend normalement 2-10 minutes pour les très grandes archives

Activité d’Index Manager en fonctionnement normal

En fonctionnement normal, il y a deux priorités principales :

• Les modifications du système de fichiers doivent être traitées aussi vite que possible.
• En tant que sauvegarde, l’analyse en arrière-plan devrait détecter tout changement manqué.

Deux services sont utilisés pour maintenir l’index mis à jour pendant le fonctionnement; Notifications de système de fichiers et Crawlers.

Notifications de système de fichiers

• Fournie des informations instantanées sur les modifications du système de fichiers.
• Utilise une fonction API appelée ReadDirectoryChangesW.
• Fonctionne uniquement avec le protocole SMB.Surveille l’arborescence complète des dossiers à partir de la racine du dossier Document.
• Toutes les notifications sont consignées lorsque la journalisation du débogage est activée (attention aux fichiers journaux volumineux et aux charges élevées).
• Les notifications sont démarrées avant toute autre opération afin d’intercepter tout changement pendant la phase de démarrage.

Notifications et NAS

• Les notifications fonctionnent généralement bien avec les solutions NAS.
• Les NAS basés sur les anciennes versions de Llinux et Samba peuvent nécessiter une mise à jour du firmware.
• Samba peut ne pas prendre en charge les notifications des clients accédant au NAS en utilisant d’autres protocoles (tels que AFP). Habituellement, la seule façon de savoir est de tester.
• Il est généralement très difficile de savoir à partir des feuilles de données si un périphérique de stockage prend en charge les notifications du système de fichiers. Le support du protocole SMB est la meilleure indication.

Notifications et test probes

• Toutes les 2 minutes Index Manager écrit un fichier avec l’extension .probe à la racine de chaque dossier de document.
• Si la notification n’arrive pas, le système de notification est réinitialisé et un robot d’exploration de dossiers est démarré.

Erreurs et avertissements dans les journaux liés aux notifications

• Error: “Automatic update could not be set”
  Une notification de travail précédente n’a pas pu être définie. Causé par un partage hors ligne ou un périphérique de stockage défectueux.

• Warning: “Automatic updates has been reset”
  Un fichier de test n’a pas réussi à déclencher une notification.

• Warning: “Automatic update unsupported. Background scanning only”
  Les notifications ne sont pas prises en charge sur ce périphérique de stockage.

• Warning: “Automatic update supported with small buffer”
  Les notifications fonctionnent avec un petit tampon et peuvent potentiellement déborder, entraînant la perte de notifications. Dépend du périphérique de stockage.

• Warning: “Update buffers are nearly full”
  Le tampon est presque plein et peut potentiellement déborder, entraînant la perte de notifications.

• Warning: “Next update offset beyond buffer”
  Le périphérique de stockage génère des notifications incorrectes.

Robots

Il y a deux robots différents au travail pendant le fonctionnement normal:

• Robot d’exploration en arrière-plan.
• Robot de dossier déclenché.

Robot d’exploration en arrière-plan

• Activé pour toutes les archives pour lesquelles « Analyse en arrière-plan » est activé.
• Fonctionne en deux modes: Normal et Forcé. Le mode forcé est identique aux options « Analyser les dossiers inchangés » dans le Centre des opérations.
  • En mode Normal, seuls les dossiers dont la date de modification est différente de la date connue sont analysés.
  • En mode Forcé, tous les dossiers sont analysés.
• Le mode forcé est automatiquement déclenché par dossier de documents dans certaines situations :
  • Première analyse des archives existantes après le démarrage.
  • Les notifications ont été réinitialisées après l’échec d’une sonde.
  • Un partage a été déconnecté et revient en ligne.
• Il y a un robot d’exploration pour toutes les archives. Il boucle constamment autour de tous les dossiers de document activés avec la basse priorité. Une boucle complète peut prendre des heures pour de grandes configurations.

Robot de dossier déclenché

• Lorsqu’un nouveau dossier est découvert (par des notifications), le robot d’exploration de dossiers déclenché commence à analyser le dossier.
• Lorsque les dossiers sont renommés ou supprimés, ce robot est parfois la seule méthode pour découvrir les fichiers. Les notifications sont uniquement envoyées pour le dossier renommé, pas pour les fichiers qu’il contient.
• Il fonctionne également pour les dossiers supprimés.

Diagramme de démarrage et d’opération du service

[source (en anglais) : disponible sur fotoware.com]