awk '!a[$0]++'  filename

如文件 1.txt 的内容为：

[root@pp crontab]# cat 1.txt 

abcd

abcd

bacd

bacd

dcba

dcba

执行 awk '!a[$0]++' 1.txt 看看输出：

[root@pp crontab]# awk '!a[$0]++' 1.txt

abcd

bacd

dcba

看看是不是没有重复的行了，是不是很简单。