중복 줄 제거

무엇이 중복으로 간주되는지

중복 제거는 "동일함"이 무엇을 의미하는지 결정해야만 잘 정의되며, 기본값이 알고리즘보다 중요합니다. 세 가지 질문이 답을 결정합니다.

대소문자가 중요합니까? 이메일 주소의 경우 아니요 — 로컬 부분은 기술적으로 대소문자를 구분하지만 실제로는 그렇게 취급되지 않으므로, Hello@example.com과 hello@example.com은 같은 주소입니다. 비밀번호나 ID의 경우 대소문자가 절대적으로 중요합니다. 여기서의 기본값은 대소문자 무시입니다.

주변 공백이 중요합니까? 거의 중요하지 않습니다. 트레일링 공백이 있는 줄은 없는 줄과 같은 값이며, 스프레드시트에서 복사된 목록은 그것으로 가득합니다. 기본값은 비교 전에 트리밍하는 것입니다.

어떤 사본이 살아남습니까? 이 도구는 첫 번째 발생을 유지하고 나머지의 원래 순서를 보존하므로, 목록은 암묵적으로 다시 정렬되지 않습니다. 정렬도 필요하다면, 그것은 별도의 작업입니다.

삭제 전에 검사

대부분의 중복 제거 도구의 기본 동작은 짧은 목록을 반환하고 사라진 것에 대해 아무 말도 하지 않는 것입니다. 이것은 입력을 신뢰할 때는 괜찮지만, 신뢰하지 않을 때는 위험합니다 — 예상치 못한 선행 공백이나 대소문자 차이는 도구가 필요했던 것을 삭제했거나, 중복이라고 생각했던 것을 유지했을 수 있습니다.

패널은 적용 전에 몇 줄이 제거되었는지, 몇 개의 고유 값이 반복되었는지, 어떤 값이 가장 많이 반복되었는지를 보여줍니다. "중복만 유지"는 작업을 반전시켜 정확히 무엇이 반복되는지 볼 수 있게 합니다 — 메일링 리스트 감사나 키워드 집합에서 우연한 복사 붙여넣기를 찾는 데 유용합니다.