Gestionnaire de fichiers avancé (intelligent)

Couvre tous les domaines de l'émulation logicielle ou de la virtualisation ainsi que les discussions sur les divers outils associés.

Modérateurs : Papy.G, fneck, Carl

Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

Si on reste sur de la FAT. On écrit contigu-ment tant que c'est possible. Il me semble que pour obtenir des secteurs à écrire, on scanne linéairement les clusters libres (valeur 0) dans la FAT : leur index indique le numéro de cluster à écrire.

Donc tant que tu n'effaces pas un cluster entre deux écritures de clusters, il n'y a pas d'allocation fragmentée.
Xavier_AL

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Xavier_AL »

c'est même une idiotie de vouloir défragmenter du SSD parce que ce n'est pas sensible à la défragmentation et ça consommerait des cycles d'écriture pour rien.
Oui, mais…
Si l'on veut gagner en temps d'accès… c'est forcement idiot de bien ranger les fichiers les uns après les autres.

Mais, la défragmentation ne se contente pas de déplacer les blocs de fichiers… mais nettoie aussi les catalogues et les fats intermédiaires.
La défragmentation pouvait faire gagner des espaces disques utilisés inutilement par des blocs orphelins, incomplets et pouvait faire maigrir les tables d'allocation de fichiers pouvant utiliser un espace disque important.
Donc, plus la FAT est importante, plus il y a de blocs SDD utilisés au chargement.

La défragmentation n'est plus adaptée, mais les systèmes d'exploitation ont su intégrer une défragmentation dynamique qui évite de surcharger les FATs en NTFS, contrairement en FAT32 qui lui est moins optimisé.
Donc, même si la question est naïve, elle est contestable sur certains points.
Daniel
Messages : 17316
Inscription : 01 mai 2007 18:30
Localisation : Vaucluse
Contact :

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Daniel »

Essayez de faire de la vidéo en streaming à partir d'une carte SD avec un MO5, vous comprendrez vite pourquoi la fragmentation des fichiers n'est pas toujours acceptable.

Pour éviter la fragmentation en FAT ou FAT32 c'est très simple : après formatage ajoutez des fichiers sur la carte, ne les changez pas de taille et ne les effacez pas. Quand la carte est pleine reformatez et recommencez. C'est beaucoup plus rapide que de défragmenter, et vous usez moins la carte.
Daniel
L'obstacle augmente mon ardeur.
Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

Xavier_AL a écrit : 14 nov. 2019 20:14 Si l'on veut gagner en temps d'accès… c'est forcement idiot de bien ranger les fichiers les uns après les autres.
Pour un SSD ? tu ne gagnes rien du tout, c'est comme de la RAM, le temps d'accès est le même quelque soit l'adresse. Là ce dont je parle, c'est qu'en défragmentant le SSD souvent tu réduis son espérance de vie... pour rien. C'est comme si, pour écrire sur un papier, tu prenais un abrasif pour effacer avant : il arrivera un moment ou fatalement tu obtiendras un trou. C'est pour cette raison que l'on déconseillait d'utiliser un SSD en swap. J'ai connu un collègue qui a "brûler" son SSD en quelques mois à force de compilation et de swap et probablement d'autres choses.
Avatar de l’utilisateur
Sebiohazard
Messages : 425
Inscription : 30 avr. 2019 15:07

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Sebiohazard »

hlide a écrit : 15 nov. 2019 09:49 Pour un SSD ? tu ne gagnes rien du tout, c'est comme de la RAM, le temps d'accès est le même quelque soit l'adresse.
Salut c'est exactement ce que je pensais jusqu'à ce que je découvre que mon téléphone portable, qui utilise lui aussi de la mémoire flash on est bien d'accord, me propose de défragmenter ?!

Je ne comprends plus rien là ?!
Image
Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

La question est plutôt : doit-on faire confiance aux logiciels d'un fabricant/assembleur de téléphone ?
Avatar de l’utilisateur
Sebiohazard
Messages : 425
Inscription : 30 avr. 2019 15:07

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Sebiohazard »

Alors là... bonne question !
Image
Avatar de l’utilisateur
Papy.G
Modérateur
Messages : 3047
Inscription : 10 juin 2014 13:40
Localisation : Haute-Garonne/Gers

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Papy.G »

Ythunder a écrit : 14 nov. 2019 15:37J'ai parcouru le début du fil, que je dise pas de connerie, mais l'écriture d'un gros fichier sur un disque n'est pas contigue, je me trompe ?
Entendons par là, bein même sans effacement ou modification, ça érit là ou ça veut, et on peut se trouver avec un seul fichier pas contigu du tout sur un disque. OU ALORS, le 2eme fichier écrit ne va pas sagement se mettre après l'autre sur le disque (laissant une zone vierge)
En général, l'écriture se fait à suivre quand l'espace est vierge, donc, contigüement par défaut. Ce qui me préoccupe, c'est qu'effectivement, les gros fichiers ne sont pas écrits avec la logique d'occuper prioritairement un espace contigu.
Windows XP, non content de fragmenter les fichiers à l'écriture, les fragmente en dépit de l'espace vierge contigu disponible, commence son gros fichier en début, laisse un espace après l'espace occupé pour le deuxième fragment, puis fait un troisième fragment tout à la fin du volume, alors qu'il aurait pu finir à suivre du deuxième. Je n'ai pas su faire de capture d'écran du défragmenteur pour vous montrer les différentes étapes de mon essai et le résultat. :roll:
hlide a écrit : 14 nov. 2019 15:43Si on reste sur de la FAT. On écrit contigu-ment tant que c'est possible.
Il me semble que pour obtenir des secteurs à écrire, on scanne linéairement les clusters libres (valeur 0) dans la FAT : leur index indique le numéro de cluster à écrire.
Il semble bien que non, pourtant.
A moins que les clusters écrits puis libérés depuis le dernier formatage ont une valeur différente de 0.
Daniel a écrit : 14 nov. 2019 20:38Pour éviter la fragmentation en FAT ou FAT32 c'est très simple : après formatage ajoutez des fichiers sur la carte, ne les changez pas de taille et ne les effacez pas. Quand la carte est pleine reformatez et recommencez. C'est beaucoup plus rapide que de défragmenter, et vous usez moins la carte.
Re-écrire entièrement 40GO de données sur une carte µSD juste pour la mise à jour d'une application de 2,5MO me semble une perte de temps démesurée, et renommer le fichier à mettre à jour n'est pas pratique, car cela me fait encore créer des fichiers parasites sur la carte (il faut cependant que je teste le remplacement du fichier par un autre de même nom sous OSX et les conséquences)
Par ailleurs, mon but est précisément de pouvoir toujours effacer mes gros fichiers au besoin.
hlide a écrit : 15 nov. 2019 09:49Pour un SSD ? tu ne gagnes rien du tout, c'est comme de la RAM, le temps d'accès est le même quelque soit l'adresse. Là ce dont je parle, c'est qu'en défragmentant le SSD souvent tu réduis son espérance de vie... pour rien.
J'ai connu un collègue qui a "brûler" son SSD en quelques mois à force de compilation et de swap et probablement d'autres choses.
Au début, il était question de carte mémoire, pas de SSD, et l'application tolère peu la fragmentation, ce sont les données du problème.
Et j'insiste:
Papy.G a écrit : 14 nov. 2019 15:12Les temps d'accès sont peut-être négligeables sur un SSD, malgré tout, la fragmentation des fichiers amène une complication pour les applications qui y accèdent. Certes, avec la puissance actuelle des machines, cette complication reste invisible pour l'utilisateur, elle existe quand-même.
Quand j'utilise une mémoire flash pour un OS (WIndows XP, en général), je désactive systématiquement le SWAP (Mémoire Virtuelle), enfin, même sur un disque dur, j'ai tendance à le faire aussi, pour la réactivité du système. :mrgreen:
Soyez exigeants, ne vous contentez pas de ce que l'on vous vend.
Demandez-en plus, ou faites-le vous-même.
Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

Si tu regardes ici , le tableau de la FAT décrit qu'un cluster est libre s'il a une entrée 0 (ou 0x?0000000 pour FAT32), donc explique moi comment c'est possible d'allouer sans devoir parcourir la FAT pour les repérer puisque qu'il ne peut pas avoir de chaînage pour le coup.

EDIT : relecture... je parle d'un cas où tu libères moins ou plus de clusters que tu en écris.

Par exemple, j'efface un fichier qui fait 2 clusters avec d'autres fichiers à la suite et j'écris ensuite un fichier qui fait 3 clusters : deux clusters vont se placer à la place de l'ancien fichier mais le troisième cluster sera après les autres fichiers qui ne contiennent pas de cluster libre au milieu.
Pire, si j'ai deux clusters libres avant le fichier effacé, ces deux clusters et le premier cluster de l'ancien vont être pris par le nouveau fichier.

Conclusion : tant que l'effacement d'un fichier est suivi de l'écriture d'un fichier de même taille en cluster, la FAT n'est pas fragmentée (pas de cluster libre au milieu). Si ton fichier est de taille différent, t'es dans la mouise.
Dernière modification par hlide le 18 nov. 2019 15:05, modifié 1 fois.
Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

Le formatage rapide de la FAT réécrit les FAT avec des clusters libres. Ça ne touche pas aux clusters des fichiers (effacés mais pas physiquement).
Dernière modification par hlide le 18 nov. 2019 15:10, modifié 1 fois.
Avatar de l’utilisateur
hlide
Messages : 3469
Inscription : 29 nov. 2017 10:23

Re: Gestionnaire de fichiers avancé (intelligent)

Message par hlide »

La SD c'est de la Flash NAND donc c'est probablement pire en terme d'espérance de vie en écriture.
Xavier_AL

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Xavier_AL »

Salut à tous,

Ici nos parlons de durée de vie, de fragilité du support mémoire, d'obsolescence prévisible.
Mais, n'oublions pas que les disques durs (disquettes) ne sont pas éternelles non plus.

Sur la capacité actuelle d'un support, un disque dur peut avoir un taux de perte de parité pouvant être supérieurs à un support SDD… seulement, ce taux de perte d'unité mémoire n'est pas une priorité et est caché dans des tables d'exclusion de clusteurs en erreur. Le pire est de voir son disque dur ou sa carte SD perdre quelques mégas, mais les informations sont déplacées sur des parties seines. Le contrôle est peut-être plus rigoureux sur les supports statiques, c'est pour cela qu'il y a plus de perte en mémoire de stockage.

Mais je reste persuadé qu'une défragmentation permet de répartir les zone de lectures/écritures sur des zones moins utilisées et ainsi répartir le taux d'utilisation des blocs de stockage sur l'ensemble du disque dur, et non sur une petite partie, burinée par des cycles d'écriture et lecture aux mêmes endroits (log des anti-virus/dll système/swap files/sauvegardes/registre…).

Donc, oui, ne pas toucher à la structure des fichiers… mais, c'est user toujours les mêmes blocs.
En même temps, défragmenter est une action qui rassure, mais généralement le beau bloc sans trous se transforme rapidement en gruyère au bout de quelques heures d'utilisations.
Avatar de l’utilisateur
Papy.G
Modérateur
Messages : 3047
Inscription : 10 juin 2014 13:40
Localisation : Haute-Garonne/Gers

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Papy.G »

Bon, suite des expérimentations, OSX ferait presque mieux que Windows, mais remplit d'abord le trou laissé de 450Mo en tête du volume, puis l'autre fragment juste à la suite des fichiers déjà présents. :roll:
Pour l'une de mes deux cartes, une 8Go où je veux mettre tous les Zelda jouables sur la GameCube, je vais mettre les ISOs Gamecube en premier, les roms des autres consoles ensuite, puis les saves (elles ne changent pas de taille, à voir si les émulateurs re-écrivent exactement au même endroit, effacent puis re-écrivent, ou écrivent avant d'effacer, avec, éventuellement, un comportement propre à chacun d'entre eux) puis en dernier, les émulateurs et SWISS.
Pour l'autre, presque pareil, je vais la bourrer d'ISOs, même si je n'y joue pas, et SWISS et son fichier de config seront alors forcément à la fin, je ne changerai les Roms que par substitution, en y mettant le même nom temporairement.

Je vous entends d'ici me dire: Mais tu ne joues qu'à Zelda en émulation? Non, J'ai d'autres cartes plus petites (moins de 2Go, Fat16) dédiées à l'émulation pour d'autres jeux et surtout multi-plateforme, qui contiennent alors les émulateurs qui vont bien pour chacune des consoles hôte/accessoire de homebrew, dont la DS slot1, slot2, et la GameCube, puis d'autres utilitaires. :wink:

Merci de toute votre aide, et si vous cherchez des renseignements sur le "Homebrew" GameCube ou comment jouer encore aux jeux Wii ou DS en ligne, cela ne nécessite pas de matos coûteux (moins de 4€ au pire), ni de modifier la console, on en discute dans un autre sujet. :P

Petite mise à jour: Windows ne reprend pas forcément le même espace alloué quand on écrit un fichier de même taille par-dessus un autre, OSX non plus. Sous Windows, cependant, on peut effacer le fichier juste avant, et lorsque l'on en remet un, là, il reprend la place de l'autre (seul espace non fragmenté suffisamment grand disponible), en tout cas lors des essais.
Soyez exigeants, ne vous contentez pas de ce que l'on vous vend.
Demandez-en plus, ou faites-le vous-même.
Avatar de l’utilisateur
Papy.G
Modérateur
Messages : 3047
Inscription : 10 juin 2014 13:40
Localisation : Haute-Garonne/Gers

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Papy.G »

J'ai commencé à remplir la carte, avec des fichiers dupliqués plusieurs fois, puis je commence à remplacer ces fichiers et c'est un vrai calvaire. Pour être sûr que les fichiers vont être remis au bon endroit, il faudrait saturer le volume avec un fichier ajusté, car sans ça même avec Windows, il faut parfois s'y reprendre à plusieurs fois pour y parvenir.

Quelqu'un aurait-il un logiciel ou une astuce pour savoir l'espace libre sur un volume au cluster près, puis générer un fichier de taille arbitraire facilement? (moins de 500Mo)
Soyez exigeants, ne vous contentez pas de ce que l'on vous vend.
Demandez-en plus, ou faites-le vous-même.
Avatar de l’utilisateur
Papy.G
Modérateur
Messages : 3047
Inscription : 10 juin 2014 13:40
Localisation : Haute-Garonne/Gers

Re: Gestionnaire de fichiers avancé (intelligent)

Message par Papy.G »

L'écriture à la main des fichiers sous Windows XP dans un ordre donné a été concluant, cependant, comme le remplacement des fichiers ne se faisait pas forcément en lieu et place, il y avait parfois une fragmentation qui apparaissait, et se résorbait de façon très aléatoire.

Donc, j'ai suivi le conseil de Daniel, en préparant un dossier ayant tout mes fichiers, nommés avec un numéro devant, pour m'assurer de l'ordre d'écriture. 8)
Las! Ni Windows ni OSX n'ont été capables d'écrire sur une carte fraîchement formatée sans fragmenter au moins un fichier! :roll:
De plus, évidemment, OSX s'est permis de me mettre ses fichiers à la con, le dossier d'indexation de spotlight, le fichier Trash… :evil:
Pour information, a copie de ces fichiers a pris ~2h30 sous OSX, et ~4h sous Win XP (VirtualBox).
Soyez exigeants, ne vous contentez pas de ce que l'on vous vend.
Demandez-en plus, ou faites-le vous-même.
Répondre