Remove Duplicate Lines
テキストから重複した行を削除します。
概要
テキストの各行を比較し、完全に一致する重複行を、最初に登場した順番を維持したまま削除するツールです。
メールアドレスやログ、タグの一覧など、重複した行を含むリストからユニークな一覧を作りたい場面で使います。
空行を重複除去の対象にするかどうかを切り替えられます。
使い方
- 1
テキストエリアに重複を削除したいテキストを入力します。
- 2
空行を重複除去の対象にするかを選択します。
- 3
「重複を削除する」ボタンをクリックすると、重複を除いた結果と削除前後の行数が表示されます。
入力例・出力例
入力
a b a c b
出力
a b c
利用シーン
メールアドレスやURLなどのリストから、重複を除いたユニークな一覧を作成する
ログファイルから重複するエラーメッセージの行を除去し、種類ごとの一覧を確認する
CSVやテキストファイルからエクスポートしたタグ・カテゴリの一覧を整理する
よくある質問
大文字・小文字は区別されますか?
はい。完全に一致する行のみを重複として扱うため、大文字・小文字が異なる行は別の行として扱われます。
行の順番は変わりますか?
いいえ。最初に登場した行の順番を維持したまま、2回目以降に登場した重複行のみを削除します。
空行はどのように扱われますか?
「空行も重複除去の対象にする」を有効にすると空行も重複として扱われ、2つ目以降の空行が削除されます。無効にすると空行はすべて保持されます。
注意点
完全に一致する行のみを重複として扱います。大文字・小文字や空白の有無が異なる行は別の行として扱われます。
行の順番は変わりません。最初に登場した行の位置を維持したまま、2回目以降の重複行のみを削除します。
非常に大きなテキストを入力すると、ブラウザの処理が重くなる場合があります。
関連ツール
テキストの行を昇順・降順・数値順で並び替え(ソート)ます。
テキストの文字数・単語数・行数を数え(カウント)ます。
テキストをcamelCase・snake_caseなど複数の形式に変換(コンバーター)します。