중복 줄 제거
중복된 줄을 없애고 각 줄이 몇 번 나왔는지 보여줘요.
이럴 때 쓰세요
이렇게 사용하세요
결과가 예상과 다를 때
결과가 잘려 보여요
전체 결과는 복사 버튼으로 받을 수 있어요.
입력한 내용이 사라졌어요
이 기기에 자동 저장돼요. 브라우저 저장소를 지우면 함께 사라져요.
자주 하는 실수
- 줄 끝 공백과 들여쓰기가 다른 줄을 같은 항목으로 보지 않습니다. 정리가 목적이면 앞뒤 공백을 무시하고 비교하는 옵션을 먼저 켜세요.
- 첫 줄 헤더를 지우면 무엇이 목록인지를 잃습니다. 헤더를 남길지 제거할지 정해 두고 처리하세요.
- 쉼표로 이어진 목록을 줄 단위로 비교하면 중복을 놓칩니다. 한 줄 안의 항목이 구분자로 나뉜 데이터라면 먼저 항목 단위로 쪼갭니다.
- 중복 제거와 정렬을 한 번에 하지 마세요. 등장 순서가 순위를 뜻하는 명단에서 정렬까지 하면 원래 정보가 사라집니다.
계산 근거
중복 판정은 집합 구조로 평균 O(n)에 처리합니다. 각 줄을 해시 값으로 바꿔 같은 값이 이미 있으면 남기고 처음 나온 한 줄만 유지하며, 정렬 후 인접 비교를 쓰면 O(n log n)이 걸립니다. 비교 대상이 같아야 결과도 같으므로 유니코드 정규화(NFC)와 앞뒤 공백 제거 같은 정규화 여부가 결과를 갈립니다.
실제로 계산해 보면
250줄 명단에 8줄이 두 번씩 들어 있다면?
중복이 들어 있는 줄이 8줄이면 250에서 8을 뺀 242줄이 남습니다. 중복 줄을 모두 지운다는 것은 두 번 나온 줄을 하나만 남긴다는 뜻입니다.
'abc'와 ' abc '은 같은 줄인가요?
아니요. 기본 설정에서는 서로 다른 줄로 봅니다. 앞뒤 공백을 무시하는 옵션을 켜면 둘은 같은 항목이 되어 하나로 합쳐집니다.
중복 횟수는 어떻게 세나요?
같은 값이 나온 횟수를 함께 저장해 세 번이면 3 곱하기 표기로, 두 번이면 2 곱하기 표기로 붙입니다. 세 번 등장한 줄을 제거하면 원본에서는 두 줄이 사라집니다.
더 궁금한 것
기존 자료를 새로 고치지 않고 갱신하려면?
반드시 원본을 먼저 복사해 두고 사본에서 제거하세요. 같은 저장소를 다시 열어 덮어쓰면 원본이 사라져 복구할 수 없습니다. 원본은 날짜가 찍힌 파일명으로 따로 보관하세요.
메모리가 부족하면 어떻게 하나요?
행 수와 길이에 따라 필요한 메모리가 달라집니다. 대용량에서는 해시 대신 정렬 후 인접 비교 방식을 쓰면 메모리를 줄일 수 있고, 어디가 중복인지 표시하는 기능은 메모리를 더 씁니다.
중복 비율이 낮아도 효과가 있나요?
중복은 원소가 적을수록 비율이 높게 나옵니다. 100개 항목에서 5개 중복이면 5%지만, 10,000개에서 50개 중복이면 0.5%입니다. 비율이 낮아도 입력이 대용량이면 걸린 시간 차이가 큽니다.
알아둘 경계값
- 빈 줄·공백만 있는 줄은 결과에서 빠져요. 구획용 빈 줄이 필요하면 처리 뒤에 다시 넣어야 해요.
- 대소문자 무시 옵션은 비교에만 써요. 표시되는 건 처음 나온 원문 그대로라 표기가 통일되지 않아요.
- 처음 나온 순서대로 남고 나머지는 버려져요. 등장 순서에 의미가 있는 명단은 순서가 곧 순위예요.
- 줄 단위 비교라 쉼표 나열은 한 줄로 봐요. 한 줄 안 중복은 잡히지 않으니 항목별로 먼저 나누세요.
- 개수 표시는 2회 이상에만 횟수가 붙어요. 1회 항목에 표시가 없어 모두 중복인 줄로 오해하기 쉬워요.
- 공백 차이도 다른 줄로 봐요. 앞뒤 공백 무시 옵션을 안 켜면 들여쓴 줄과 원문이 따로 남아요.
결과를 믿기 전 확인 목록
- 처리 전후 줄 수를 기록하세요. 예상보다 많이 줄었다면 공백 차이 줄이 합쳐진 거예요.
- 이메일은 소문자로 통일 후 처리하세요. 대소문자가 다르면 같은 주소가 따로 남아요.
- 결과 횟수 표시를 합산해 보세요. 총합이 원본 줄 수와 맞는지 검증하는 거예요.
- 2회 이상 항목만 따로 모으세요. 중복 연락처·주문은 별도 확인이 필요해요.
- 결과를 덮어쓰기 전 원본을 닫으세요. 같은 파일을 입출력으로 쓰면 내용이 날아가요.
- 개수 표시를 켜고 처리하세요. 몇 번 나왔는지 알아야 진짜 중복과 오입력을 구분해요.
- 대량 명단은 100줄씩 나눠 처리하세요. 한 번에 하면 어디가 중복인지 추적하기 어려워요.
- 결과 순서는 원본 등장 순서인지 보세요. 가나다 정렬은 처리 뒤에 따로 하세요.
- CSV는 열을 추출한 뒤 처리하세요. 행 통째 비교는 검출률이 떨어져요.
자주 묻는 질문
대소문자를 구분하나요?
기본은 구분하며, 옵션에서 무시하도록 바꿀 수 있습니다.
몇 번 나왔는지도 알 수 있나요?
네. 개수 표시를 켜면 중복된 줄 옆에 ×2, ×3처럼 나온 횟수를 붙여줍니다.