[유닉스] 중복 삭제 ( uniq )

uniq

• 중복 행을 삭제
• 형식 : uniq [옵션] [파일]
• 옵션
  • -c : 각 행 처음에 중복 횟수를 출력
  • -d : 중복된 행 중 한 행만 출력. 원래 유일했던 행은 삭제
  • -u : 중복되지 않는 행만 출력
• 사용 예
  • uniq test
  • uniq –c test

 

중복 제거

• 예제 파일 만들기

$ cat test_uniq
aaaaa
abcde
abcde
bbbbb
abcde
bbbbb
bbbbb
abcde
ccc
$

• uniq 명령을 옵션 없이 실행한 결과
  • 인접한 행의 중복은 제거, 전체 중복은 확인하지 못함
  • 해결 방법은 sort와 결합하는 것

$ uniq test_uniq
aaaaa
abcde
bbbbb
abcde
bbbbb
ccc
$

$ sort test_uniq | uniq
aaaaa
abcde
bbbbb
ccc
$

 

중복 없는 행 보기 : -u

• -u 옵션을 이용하면 원래 파일에서 중복 없는 행만 출력

$ uniq –u test_uniq
aaaaa
ccc
$

 

중복 행 보기 : -d

• -d 옵션을 이용하면 원래 파일에서 중복된 행만 출력

$ uniq –d test_uniq
abcde
bbbbb
$

 

중복 횟수 보기 : -c

• -c 옵션을 이용하면 중복된 행이 몇 번이나 중복되는지 알 수 있음

$ uniq –c test_uniq
1 aaaaa
4 abcde
3 bbbbb
1 ccc
$