整理
改行を除去
PDFのカラムやメールクライアントで壊れた行を結合しつつ、本物の段落区切りを保持。
PDFテキストが壊れて貼り付く理由
PDFは段落を保存しません。座標にグリフを保存します。PDFビューアでテキストを選択してコピーすると、ビューアは読む順序を再構築し、視覚的な行が終わった場所 — 文末ではなくカラムの端 — に改行を挿入します。それをドキュメントに貼り付けると、すべての行が途中で止まります。
メールクライアントは別の方法で同じ問題を引き起こします。プレーンテキストメールは従来約72文字でハードラップするため、転送されたテキストは事前に壊れて届きます。固定ルールを持つコードエディタも同様です。
修正は2種類の区切りを区別することです。段落内の単一の改行はアーティファクトであり、スペースになるべきです。段落間の空行は意味があり、生存すべきです。「段落区切りを保持」はまさにそれを行います。意図的にすべてを1行にしたい場合のみオフにしてください。
機能するクリーンアップ順序
テキストがformatted で届いた場合、操作の順序が重要です。間違った順序で実行すると継ぎ目が残ります。
- 不可視文字を最初に除去。幅ゼロスペースとバイト順マークはほとんどの他の操作を生き残り、後で検索を壊します。
- 各行をトリムし、行が結合される際にトレーリングスペースがダブルスペースにならないようにします。
- 段落区切りを保持しながら改行を除去。
- 余分なスペースを統合して結合を整えます。
- 空行を最後に除去し、実際の構造が見えるようにします。
区切りはこのツールが意図的に推測しないケースです。PDFはしばしばハイフンで単語を行間で区切ります。「compre-」と「hension」を自動的に再結合すると「state-of-the-art」などの本物のハイフンも破壊されるため、安全な振る舞いはそれらを残し、残ったハイフンを自分で検索することです。
よくある質問
PDFからコピーしたテキストにあちこち改行があるのはなぜですか？
PDFはグリフの位置を保存し、段落は保存しません。コピーすると、ビューアは視覚的な行が終わった場所、つまり文末ではなくカラムの端に改行を挿入します。構造はそもそもファイルにありませんでした。
段落区切りが壊れますか？
「段落区切りを保持」がオンの場合は壊れません。これがデフォルトです。段落内の単一の改行はスペースになり、段落間の空行は保持されます。意図的にすべてを1行にしたい場合のみオフにしてください。
行間にハイフンで分割された単語を再結合しますか？
意図的にいいえ。"compre-"と"hension"を再結合すると"state-of-the-art"などの本物のハイフンも破壊されます。辞書なしに区別する確実な方法はありません。クリーニング後に残ったハイフンを自分で検索してください。