중복 줄 제거

중복 줄 제거 사용법

여러 줄로 된 목록에서 같은 줄이 두 번 이상 나오면 처음 것만 남기고 나머지를 지웁니다. 이메일 주소록을 합친 뒤 겹친 주소를 걸러 낼 때, 검색어나 태그 목록을 정리할 때, 로그에서 같은 오류가 몇 번 났는지 셀 때 씁니다. 지우기만 하는 도구와 달리 값마다 몇 번 나왔는지를 표로 보여 주므로 무엇이 왜 지워졌는지 확인할 수 있습니다.

쓰는 순서

1. 입력 칸에 목록을 붙여 넣습니다. 파일 열기를 누르거나 글 파일을 입력 칸에 끌어다 놓아도 됩니다. 파일을 여러 개 고르면 차례로 이어 붙입니다.
2. 결과 칸에 중복이 빠진 목록이 바로 나옵니다. 위 네 칸에서 전체 항목 수, 서로 다른 값의 수, 지운 중복 수, 두 번 이상 나온 값의 수를 확인합니다.
3. 필요하면 옵션을 바꿉니다. 옵션을 바꾸면 결과가 곧바로 다시 계산됩니다.
4. 결과 복사나 TXT로 저장으로 가져갑니다. 횟수가 필요하면 횟수 표를 CSV로 저장을 누릅니다.

예시

예시 넣기를 누르면 이메일 주소 일곱 줄과 빈 줄 하나가 들어갑니다. kim@example.com이 두 번(그중 하나는 뒤에 공백이 붙음), Kim@example.com이 한 번, lee@example.com이 두 번, park과 choi가 한 번씩입니다.

대소문자 구분 안 함을 켜면 Kim과 kim이 같은 값이 되어 kim@example.com의 횟수가 3으로 올라갑니다. 이메일 주소의 @ 뒤쪽은 대소문자를 가리지 않고 앞쪽도 실제로는 가리지 않는 서비스가 대부분이라, 주소록을 정리할 때는 이 옵션을 켜는 편이 맞습니다.

옵션

• 나누는 단위: 줄은 한 줄 전체를 한 값으로 봅니다. 단어는 띄어쓰기로 나눈 낱말을 글 전체에서 비교해 두 번째부터 지우고 줄 모양은 유지합니다. 쉼표로 나눈 항목은 "서울, 부산, 서울"처럼 쉼표로 이어 쓴 태그 목록에 씁니다.
• 대소문자 구분 안 함: Apple과 apple을 같은 값으로 봅니다. 남는 것은 먼저 나온 쪽의 표기입니다.
• 앞뒤 공백 무시: 줄 앞뒤의 띄어쓰기와 탭을 빼고 비교합니다. 엑셀이나 웹에서 복사한 목록은 줄 끝에 공백이 붙는 일이 많아 처음부터 켜 두었습니다.
• 연속 공백을 하나로 보기: "홍길동 부장"과 "홍길동 부장"처럼 가운데 공백 수만 다른 줄을 같은 값으로 봅니다.
• 빈 줄 제거: 빈 줄은 중복으로 세지 않습니다. 이 옵션을 끄면 빈 줄을 제자리에 그대로 둡니다.
• 보기: 중복 제거 결과, 중복된 것만(두 번 이상 나온 값을 하나씩), 한 번만 나온 것만 가운데 고릅니다. 두 목록에 모두 있는 값을 찾으려면 두 목록을 이어 붙이고 중복된 것만을 고르면 됩니다.
• 순서: 처음 나온 순서, 많이 나온 순서, 가나다 순. 많이 나온 순서로 두면 가장 자주 나온 값이 맨 위에 옵니다.

횟수 표 읽는 법

결과 아래 표에는 값, 횟수, 그 값이 처음 나온 줄 번호가 나옵니다. 순서를 처음 나온 순서로 두어도 표는 횟수가 많은 값부터 보여 줍니다. 화면에는 300행까지만 그리고, CSV 파일에는 전체가 들어갑니다. CSV는 엑셀에서 한글이 깨지지 않는 형식으로 저장합니다.

주의할 점

• 글자가 완전히 같아야 같은 값입니다. "서울시"와 "서울특별시", "㈜한빛"과 "(주)한빛"처럼 뜻이 같아도 표기가 다르면 따로 셉니다.
• 두 목록을 합쳐 중복된 것만 볼 때, 한 목록 안에서 이미 겹친 값도 함께 나옵니다. 목록마다 먼저 중복을 지운 뒤 합치면 정확합니다.
• 파일은 UTF-8로 먼저 읽고, 깨지면 EUC-KR로 다시 읽습니다. 워드, 한글, 엑셀(xlsx) 파일은 열 수 없으니 내용을 복사해 붙여 넣어 주세요.