Quota DMF
par Martin Ouwehand, SIC-Exploitation
Le problème
Dans le dernier Flash Informatique (article «Nestor: n'en jetez plus!») nous vous avons déjà parlé du problème de la quantité trop importante de données qui, sur le serveur de fichiers Nestor, sont migrées par DMF (Data Migration Facility) vers les cartouches du robot STK. Bien que la situation se soit bien sûr un peu calmée durant la pause estivale, rien n'indique qu'à la rentrée nous ne verrons pas de nouveau les taux de ce printemps (l'équivalent de presque 100 cartouches par semaine). Par ailleurs, en veillant à ce qu'il y ait toujours suffisamment de place dans les file-systems réservés aux utilisateurs, DMF n'encourage pas les utilisateurs à trier leurs fichiers et à effacer ceux dont ils pourraient se passer.
La solution
Elle consiste à activer le système de quota disque en mode enforce tout en liant, pour chaque utilisateur, son quota disque à l'utilisation qu'il fait de DMF: si la quantité de données migrées sur cartouche qui lui appartiennent dépasse un certain niveau qu'on pourrait intituler son quota DMF, son quota disque est diminué, grosso modo proportionnellement à ce dépassement. Ceci crée en quelque sorte un goulot d'étranglement qui, petit à petit, si l'utilisateur ne fait rien pour diminuer la quantité de données migrées lui appartenant, l'empêchera de créer de nouveaux fichiers sur Nestor. Cela revient aussi à dire que la somme des fichiers résidant sur disque et sur cartouche est à peu près constante.
Dans le détail:
Les quota disque sont en mode enforce, ce qui signifie que le système d'exploitation ne permet plus d'écrire de nouvelles données sur disque lorsqu'on a dépassé son quota disque. Chaque utilisateur se voit attribuer un quota disque de base dont la valeur par défaut est de 100 Megabytes (des exceptions justifiées sont bien sûr envisageables).
De même, chaque utilisateur se voit attribuer un quota DMF de base dont la valeur par défaut est de 500 Megabytes. De nouveau, les utilisateurs ayant des besoins spécifiques pourront demander un quota DMF plus élevé.
Chaque nuit, la quantité de données migrées appartenant à chaque utilisateur est comptabilisée. Si cette quantité est inférieure au quota DMF de base de l'utilisateur, le quota disque prend sa valeur de base. Si elle dépasse le quota DMF, le quota disque est modifié à la baisse plus ou moins proportionnellement au dépassement (cf. la figure). Le dépassement peut être tel que le quota disque atteint le niveau d'occupation en fichiers disque de l'utilisateur : celui-ci ne peut alors plus créer de nouveaux fichiers.
Cette diminution est réversible: si l'utilisateur qui a dépassé son quota DMF efface des fichiers migrés son quota disque est augmenté jusqu'au moment où celui-ci retrouve sa valeur de base, lorsque la quantité de données migrées lui appartenant est plus petite que son quota DMF.
Sur la figure on voit plus précisément comment le quota disque varie en fonction de l'utilisation DMF: les deux sont indépendants jusqu'à ce que l'occupation DMF atteigne le quota DMF, après quoi il descend abruptement pour prendre la valeur de seulement 1 Megabyte lorsque l'utilisateur a dépassé son quota DMF de 20% puis descend plus doucement vers une valeur nulle pour un dépassement de 40%.
Calendrier de mise en route
Les utilisateurs qui estiment avoir réellement besoin d'une extension des quota de base annoncés ci-dessus (soit 100 Megabytes d'espace disque et 500 Megabytes de données migrées) sont priés de m'envoyer leur demande avec justification jusqu'au lundi 18 octobre. Mon adresse E-mail est ouwehand@sic.
Les quota disque en mode enforce entreront en vigueur le lundi 1er novembre. Les utilisateurs veilleront donc à ne pas être surpris à cette date par une occupation disque supérieure à leur quota.
Enfin le système décrit ci-dessus de couplage entre les quota disque et l'utilisation DMF sera mis en route le lundi 15 novembre. Les deux semaines séparant ces 2 échéances permettront aux utilisateurs de ne pas être surpris, cette fois-ci, par une occupation DMF supérieure à leur quota.
Remarques diverses et importantes
Une étude de l'occupation actuelle des file-systems de Nestor, tant sur disque que pour les fichiers migrés, montre qu'une appréciable majorité des utilisateurs ne seront pas touchés par cette opération, c'est-à-dire que leurs occupations disque et DMF tombent sous les limites proposées ci-dessus. Mais nous espérons qu'elle attirera l'attention de chacun sur la nécessité de régulièrement évaluer l'opportunité de garder tel ou tel fichier.
Dans le système décrit ci-dessus, les quota disque ne sont mis à jour que quotidiennement, ce qui peut sembler insuffisant: un utilisateur ayant effacé des fichiers migrés n'en profitera (c'est-à-dire qu'il ne verra son quota disque augmenté) que le lendemain. Ceci est dû au fait que le programme de comptabilisation des données migrées est relativement coûteux en ressources. Mais une version améliorée est à l'étude et permettrait une mise à jour plus fréquente.
Finalement je recommande également de lire mon autre article dans ce Flash Informatique , «Tout ce que vous avez toujours voulu savoir sur DMF sans jamais avoir osé le demander» pour savoir quels sont les moyens les plus efficaces pour migrer des fichiers vers cartouche, les rapatrier de cartouche vers disque, combien de données migrées se trouvent dans votre directoire, comment obtenir la liste des fichiers migrés dans une arborescence donnée et bien d'autres choses encore.
