Как найти дубликаты строк в текстовом файле

Описание

Иногда возникает необходимость найти все дублирующиеся строчки в каком-либо текстовом файле, что в ОС Linux делается очень легко

Ищем дубликаты

Для поиска дубликатов строк в текстовом файле можно воспользоваться следующей командой:

sort filename.txt | uniq -d

Где filename.txt - это название текстового файла в котором мы ищем дубликаты строк.
В случае, если в данном файле есть одинаковые строки, в консоль будут выведены эти строки и можно будет вручную их убрать из файла.