Un fichier texte brut est l'un des moyens les plus courants de stocker des données tapées sur un ordinateur. Il est non seulement très simple de créer un fichier texte, mais aussi incroyablement facile à modifier, car cela peut être fait en utilisant quelque chose de simple comme l'outil intégré du Bloc-notes Windows. Un fichier texte est également un format universel, ce qui signifie qu'il est lisible sur plusieurs plates-formes, y compris les PC Windows, Mac, Linux, téléphones, tablettes et tout le reste.
Si vous avez un certain nombre de fichiers texte volumineux que vous devez lire ou si vous avez fusionné plusieurs fichiers texte en un seul pour faciliter les choses, il est logique de supprimer toutes les lignes de texte qui sont des doublons les uns des autres. Vous pouvez parcourir le fichier manuellement et supprimer les doublons vous-même, mais il est beaucoup plus facile de laisser le processus être géré automatiquement. Ici, nous vous montrons un certain nombre de façons différentes de supprimer les lignes en double de vos fichiers texte.
Utilisez un utilitaire tiers pour supprimer les lignes en double
Un moyen simple et courant de supprimer les lignes en double d'un fichier texte consiste à utiliser un utilitaire tiers dédié.
1. TextCrawler TextCrawler est un logiciel gratuit très puissant conçu principalement pour la recherche et le remplacement de données dans des fichiers texte. Heureusement, malgré sa puissance, TextCrawler est encore relativement facile à utiliser et l'option de suppression des lignes en double se trouve en fait dans une fenêtre distincte, appelée Scratchpad.
Pour ouvrir le Scratchpad, installez et lancez TextCrawler et allez dans le menu Outils> Scratchpad, ou appuyez sur F2. Collez le texte dans la fenêtre et appuyez sur le bouton Do, l'option Supprimer les lignes en double doit être sélectionnée dans la liste déroulante par défaut, elle ne doit pas être sélectionnée au préalable. Appuyez ensuite sur Enregistrer pour créer un nouveau fichier texte ou copiez et collez le texte dans votre éditeur de texte préféré. La liste déroulante propose également d'autres options pour supprimer les espaces blancs et trier le texte dans l'ordre croissant ou décroissant.
Télécharger TextCrawler
2. Bloc-notes ++
Notepad ++ est un éditeur de texte riche en fonctionnalités mais n'a pas de fonctionnalité intégrée pour supprimer les lignes en double, cependant, l'option peut être ajoutée via le système de plug-in externe utilisé par Notepad ++. Bien que certains soient déjà inclus, le plugin TextFX n'est pas installé par défaut et doit être ajouté manuellement.
Dans la barre de menus Notepad ++, cliquez sur Plugins> Plugin Manager> Afficher Plugin Manager et recherchez le plugin TextFX Characters dans la liste. Cochez la case, cliquez sur Installer et redémarrez le programme lorsque vous y êtes invité et le menu TextFX sera disponible. Pour utiliser la fonction de suppression des lignes en double, chargez un fichier texte dans Notepad ++ et sélectionnez tout le texte (Ctrl + A), allez dans TextFX> Outils TextFX et sélectionnez l'option «+ Trier les sorties uniquement les lignes UNIQUE (dans la colonne)».
Revenez au même menu Outils TextFX et cliquez sur «Trier les lignes sensibles à la casse (dans la colonne)» ou «Trier les lignes sensibles à la casse (dans la colonne)», surligné en jaune ci-dessus. Cela supprimera les lignes en double et laissera ou supprimera celles avec un boîtier différent. Enregistrez ensuite à nouveau le fichier.
Télécharger Notepad ++
3. Suppresseur de lignes en double
Duplicate Lines Remover est de la société de sécurité NoVirusThanks.org et a quelques fonctionnalités utiles. Pour une raison quelconque, la page Web du programme a été supprimée de leur site Web, mais heureusement, le lien de téléchargement officiel est toujours disponible. Seul un programme d'installation est disponible, mais vous pouvez rendre le programme portable à l'aide de Universal Extractor.
Pour supprimer les lignes en double, recherchez ou déposez un fichier dans la fenêtre, cliquez sur Vérifier et si des lignes en double sont trouvées, cliquez sur Corriger et choisissez un nom d'enregistrement. Vous pouvez également traiter par lots un certain nombre de fichiers à la fois, y compris dans des sous-dossiers, à l'aide de l'onglet Analyse de fichiers. Sachez cependant qu'il créera automatiquement des sauvegardes .bak et remplacera les fichiers d'origine par les fichiers traités. Utilisez la zone de masque et ajoutez une extension de fichier pour arrêter tout traitement. Une version en ligne de commande dédiée est disponible dans le package pour les utilisateurs plus avancés.
Télécharger Duplicate Lines Remover
4. TextMechanic Offline
La partie hors ligne du nom consiste à différencier cet outil du service TextMechanic en ligne car les deux ne sont pas liés. Cet outil est un exécutable portable et hébergé chez SourceForge. En plus de supprimer les lignes en double et vides, TextMechanic Offline peut également supprimer des lignes contenant du texte spécifique ou rechercher et remplacer du texte.
Collez le texte à traiter dans la fenêtre TextMechanic avant d'appuyer sur le bouton " Supprimer les lignes en double " puis sur le bouton " Supprimer les lignes vides ". Si vous n'appuyez pas sur les deux boutons, le texte contiendra des lignes vides où les doublons ont été supprimés. Enfin, appuyez sur " Enregistrer dans le presse-papiers " pour que le texte corrigé puisse être collé dans votre éditeur de texte. Cet outil est sensible à la casse, donc les lignes doivent être identiques à la fois dans la casse et dans le contenu si elles doivent être supprimées.
Télécharger TextMechanic Offline
Supprimer les lignes en double à l'aide des commandes Windows intégrées
En utilisant un mélange de commandes Windows intégrées, il est possible de supprimer les lignes en double dans les fichiers texte.
5. Utilisation d'un script batch
Le regroupement de ces commandes dans un script batch unique permet un traitement rapide et facile. Cela peut également être utile si votre ordinateur a des restrictions concernant l'exécution de logiciels tiers. Le script que nous utilisons a été trouvé sur StackOverflow et modifié pour le rendre plus facile à utiliser.
Téléchargez simplement le fichier Zip DeDupe et extrayez-le, il y a deux fichiers BAT à l'intérieur, l'un est sensible à la casse et ne modifie pas les lignes sauf si leur cas est également identique, l'autre script ne respecte pas la casse. Pour supprimer les lignes en double dans un fichier, tout ce que vous avez à faire est de déposer le fichier texte dans le fichier .BAT et il traitera et éditera automatiquement le fichier dans le même dossier avec un suffixe _deduped. Les lignes ne sont pas réorganisées mais retirées en place, idéal si vous souhaitez conserver le même ordre de ligne que l'original.
Télécharger les fichiers batch DeDupe
Supprimer les lignes en double à l'aide d'un service en ligne
Il existe de nombreux services en ligne pour supprimer les doublons de texte, nous en avons choisi un qui devrait répondre à vos besoins.
6. TextMechanic
À ne pas confondre avec l'outil TextMechanic Offline qui n'est pas lié, ce site Web propose une multitude d'outils de manipulation de texte en ligne. En plus de supprimer uniquement les lignes en double, si vous souhaitez disposer de tous les autres outils en même temps, utilisez le Bloc-notes de manipulation de texte tout-en-un.
Il y a deux façons de placer votre texte dans la fenêtre, utilisez le bouton Charger le fichier pour le rechercher ou appuyez sur le bouton bleu C pour effacer le texte actuel dans la fenêtre et collez votre propre texte. Cliquez ensuite sur le bouton Supprimer les lignes en double, les cases respectant la casse et supprimant les lignes vides sont disponibles pour vérifier si votre texte l'exige. Une fois terminé, cliquez sur le bouton Enregistrer sous ou appuyez sur S pour sélectionner tout le texte, faites un clic droit et copiez-le (ou appuyez sur Ctrl + C) prêt à coller dans un éditeur de texte.
Visitez TextMechanic Supprimer les lignes en double
7. Supprimer les lignes en double
Comme TextMechanic.com ci-dessus, le site Web TextFixer possède une multitude d'outils de manipulation de HTML, de nombres et de texte, dont la page de l'outil de suppression de ligne en double n'est qu'un.
Collez le texte à traiter dans la fenêtre supérieure, appuyez sur le bouton Supprimer les lignes en double et le résultat apparaîtra dans la fenêtre inférieure prêt à être sélectionné et copié. Cet outil dispose de quelques options de tri utiles telles que le tri dans l'ordre alphabétique ou l'inversion complète de l'ordre de tri. La suppression de ligne est sensible à la casse, donc une seule lettre majuscule ou minuscule sur une ligne signifie la différence entre qu'elle reste ou soit supprimée.
Visitez l'outil de suppression de ligne de doublons TextFixer
Quelques autres outils de suppression de lignes en double en ligne incluent DeDupeList.com, Remove Duplicate Lines by Text-Utils.com et List Scrubber Tool.
