Comme vous le savez certainement, DMF est une application sous Cray-Unicos qui permet la migration automatique des fichiers depuis les disques vers des cartouches des robots STK (StorageTek®), d'où son nom Data Migration Facility®.

Les quotas pour la place occupée sur les disques sont en mode inform depuis la mise en route de pascal, i.e.; le dépassement de la limite standard actuelle de 7200 blocs (~ 30 MB) a comme conséquence un simple avertissement.

Lorsqu'un file-system s'approche de sa saturation, DMF intervient en migrant les plus vieux et gros fichiers sur des cartouches des silos des deux robots STK, ce qui libère la place sur disque tout en laissant la visibilité des fichiers migrés. Parallèlement un utilisateur peut lui-même forcer la migration de certains de ses fichiers sur cartouche.

Malheureusement cette situation a atteint les limites physiques des robots STK en remplissant la quasi totalité des cartouches disponibles. DMF ne pourra (hélas) bientôt plus migrer des fichiers vers des cartouches et les file-systems deviendront pleins.

Afin d'éviter une petite catastrophe (car un file-system plein devient indisponible), les quotas DMF sur le serveur de calcul pascal seront prochainement mis en mode enforce, i.e.un utilisateur ne pourra plus dépasser son quota. Simultanément, un système de quota similaire sera défini pour les fichiers migrés. Pour cela, pascal a demandé à son frère nestor de lui prêter son système qui, depuis déjà 2 ans, s'est montré efficace et sans implication majeure sur les utilisateurs. Le système de quotas sur pascal sera, en conséquence, identique à celui de nestor. Voir à ce sujet l'article de Martin Ouwehand dans FI-7 du 21.09.93 et disponible sous W3 (http://ditwww.epfl.ch/SIC/SA/publications/FI93/7-93-page25.html). Voir aussi la page Web sur les quotas disque et quotas DMF sous l'URL: http://sewww.epfl.ch/SIC/SE/servcentraux/pascal.html.

Opération

• les quotas disque passent en mode enforce, i.e., Unicos ne permettra plus à l'utilisateur d'écrire des données au-delà du quota alloué pour les file-systems /u0 à /u3. Le quota disque standard est augmenté à 12'000 blocs (~50 MB), soit avec une augmentation de 67 % par rapport à l'état actuel. Pour les file-systems /t0 à /t3, le quota disque standard est augmenté à 30'000 blocs (~ 120 MB), augmentation de plus de 300 %.
• un quota standard DMF de 250 MB est attribué à chaque utilisateur de pascal pour les file-systems /u0 à /u3, et de 600 MB pour les file-systems /t0 à /t3.
• un quota sur le nombre total de fichiers sera également instauré.

Cette limite sera suffisament large pour ne pas constituer une contrainte.
Pour plus de 90 % des utilisateurs, ce changement sera totalement transparent. Les quelques utilisateurs qui seront touchés seront contactés par le SIC de façon à définir des quotas sur mesure qui leur permettront de travailler tout en évitant un risque de saturation des disques ou des cartouches.

Procédure

• périodiquement, la somme des données migrées sur des cartouches par DMF est calculée.

Alors:

• Si cette somme est plus petite que le quota DMF, le quota disque garde sa valeur de base.
• Si elle est plus grande que le quota DMF, le quota disque est modifié à la baisse proportionnellement à la taille dépassée.
• La diminution du quota disque est réversible. Pour cela il suffit que l'utilisateur efface des fichiers migrés inutiles, ce qui aura comme conséquence l'augmentation de son quota disque jusqu'à sa valeur initiale (commande rm file).

Information

Par ailleurs, nous prions tous les utilisateurs de vérifier régulièrement que les fichiers (disques ou migrés) leur sont toujours utiles, et d'éliminer (commande rm file) tous les fichiers inutiles.

Si vous désirez migrer/démigrer plusieurs fichiers, ne pas le faire par des commandes séparées, mais regrouper la demande sur une seule exécution de dmput/dmget, afin d'éviter de demander l'accès multiple et successif à la même cartouche. A cet effet la commande dmlist qui donne entre autres la liste des fichiers migrés est également utile. Utilisez dmlist -h pour plus de renseignements.

Rappel

Il n'y a pas de sauvetage de /tmp ni de /mpp/tmp. Le SIC fait un dump complet (fulldump) des file-systems des utilisateurs pascal et T3D une fois par semaine. La durée de vie d'un fulldump est d'environ une année.

Chaque jour un dump incrémental est effectué dans un pool de 2 semaines.

Les fichiers migrés par DMF sont conservés aujourd'hui sans limite établie par le SIC. Les seules limites sont celles de la vie propre au support magnétique (la vie même de la cartouche ou du système DMF). Malgré les mesures de sécurité établies dans les locaux où se trouvent les robots STK, un accident ne peut pas être exclu (comme un incendie car il n'y a pas de système d'extinction dans les robots à cause des ordonnances légales). Les fichiers migrés doivent donc aussi avoir été sauvés par l'utilisateur s'ils sont critiques.

Pour tout renseignement, contacter le soussigné. Felipe Valenz, Pascal Manager, URL: http://sewww.epfl.ch/SIC/SE/info/valenz.html, e-mail: valenz@sic.epfl.ch, tél: (021) 693 22 56.

retour au sommaire des FI 95
	FI-10 du 19.12.95