중복 줄 제거: 공백과 한글 정규화 차이

SmartInfoBank 운영자 · 작성 2026-05-19 · 수정 2026-10-16 · 4분

두 줄이 똑같아 보인다고 같은 데이터는 아닙니다. 앞뒤 공백이나 한글의 내부 문자 구성이 다를 수 있습니다. 반대로 공백을 전부 없애면 구별해야 할 두 값을 하나로 합칠 수도 있습니다. 중복 제거는 비교 기준을 먼저 정하는 작업입니다.

네 줄로 결과를 예상해 봅니다

아래 두 번째 줄에는 A-01 뒤에 공백 한 칸이 있습니다. 기본 비교에서는 첫째·넷째 줄만 같아서 3줄이 남습니다. 앞뒤 공백 제거 옵션을 켜면 두 번째 줄도 같아져 2줄이 남습니다. 도구는 처음 나온 순서를 유지합니다.

A-01
A-01 
A-02
A-01

공백 제거가 위험한 자료

사람이 입력한 분류명에서는 우연히 붙은 공백을 없애도 되는 경우가 많습니다. 하지만 고정 길이 코드나 원문 보존이 필요한 로그라면 공백도 데이터입니다. 이 도구의 옵션은 각 줄의 앞뒤 공백만 제거합니다. 문장 내부의 여러 공백, 하이픈, 숫자 0을 자동 삭제하지 않습니다. 대소문자도 자동 통합하지 않습니다.

한글 NFC 정규화는 무엇을 바꾸나요

같은 모양의 한글이 완성된 한 글자 또는 조합용 자모의 연속으로 저장될 수 있습니다. NFC 옵션은 유니코드의 정규화 규칙에 따라 비교용 문자열을 정리합니다. 일반적인 맞춤법 교정이나 비슷한 이름 찾기 기능은 아닙니다. 호환성 문자를 더 넓게 합치는 NFKC와도 다릅니다. 아래 도구는 옵션을 켜면 결과 문자열 자체에도 해당 정규화를 적용합니다.

빈 줄도 하나의 값으로 처리합니다

빈 줄이 여러 개라면 하나만 남깁니다. 입력 끝에 줄바꿈이 있으면 마지막 빈 줄도 한 줄로 셉니다. 이는 “빈 줄 모두 삭제”와 다릅니다. 빈 줄이 레코드 구분 역할을 하는 메모나 설정 파일이라면 이 도구로 전체를 정리하지 마세요. CSV는 큰따옴표 안 줄바꿈이 있을 수 있으므로 줄 단위 제거가 주문 단위 제거를 의미하지도 않습니다.

실제 명단은 작은 구간으로 먼저 비교합니다

원본을 보존한 뒤 옵션별 결과를 각각 받아 제거 수와 남은 수를 비교합니다. 제거 수가 예상보다 크면 이름·코드의 의미가 합쳐진 것은 아닌지 확인합니다. 최종 결과에서는 첫 값과 마지막 값, 공백이 있던 값, 자모가 섞인 값을 확인하세요. 비슷한 고객 이름이 같은 사람인지 판단하는 용도로 사용하지 않습니다.

결과가 여기에 표시됩니다.