重複行を除去

何が重複とみなされるか

重複削除は「同じ」が何を意味するかを決めて初めて適切に定義され、デフォルトはアルゴリズムよりも重要です。3つの質問が答えを決めます。

大文字小文字が重要ですか？ メールアドレスの場合、いいえ — ローカル部分は技術的に大文字区別ですが、実際には決してそのように扱われないため、Hello@example.comとhello@example.comは同じアドレスです。パスワードやIDの場合は大文字小文字が絶対に重要です。デフォルトは大文字区別なしです。

周囲の空白が重要ですか？ ほぼ重要ではありません。トレーリングスペースがある行はない行と同じ値で、スプレッドシートからコピーされたリストにはそれらが一杯です。デフォルトは比較前にトリムすることです。

どのコピーが残りますか？ このツールは最初の出現を保持し、残りの元の順序を保持するため、リストは暗黙的に再ソートされません。ソートも必要なら、それは別の操作です。

削除前にインスペクト

ほとんどの重複削除ツールのデフォルトの動作は、短いリストを返して何が失われたかを何も言わないことです。これは入力を信頼している場合には問題ありませんが、信頼していない場合にはリスクがあります — 冒頭の余分なスペースや予期しない大文字小文字の違いは、ツールが必要だったものを削除したか、重複だと思っていたものを保持したことを意味する可能性があります。

パネルは適用前に、何行が削除されたか、いくつの一意の値が繰り返されたか、どの値が最も繰り返されたかを表示します。「重複のみを保持」は操作を反転させて、正確に何が繰り返されているかを確認できるようにします — メーリングリストの監査やキーワードセットでの偶然のコピペを検出するのに便利です。