論文の概要: Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
- arxiv url: http://arxiv.org/abs/2608.19026v1
- Date: Wed, 19 Aug 2026 15:20:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.441078
- Title: Institutional Books - Enriched Text: A customizable multilingual open-source pipeline for denoising, deduplicating, and annotating OCR text at scale
- Title（参考訳）: Institutional Books - Enriched Text: OCRテキストの大規模化、重複化、注釈付けのためのカスタマイズ可能な多言語オープンソースパイプライン
- Abstract要約: 私たちはEnriched Textと呼ぶアプローチを説明します。
トークンの単一の'完全'ストリームを生成する代わりに、アノテーションを通じてメタデータを保持しながら、テキストを正規化します。
この情報は、HTMLライクなアノテーションをテキストの上に重ねて提供します。
- 参考スコア（独自算出の注目度）: 5.31661802351755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Released in 2025, Institutional Books: Harvard Library (IB-HL) is a collection of 983,004 volumes (242B o200k_base tokens), originally digitized through Harvard Library's participation in the Google Books Library project. As researchers and developers have begun to use IB-HL, a tension has emerged between standard large-scale preprocessing practices and the goals of careful information stewardship. Many existing pipelines optimize for web text: as a result, they tend to aggressively filter, deduplicate, restrict by language, and sometimes discard meaningful metadata. Meanwhile, researchers seeking to use IB-HL duplicate effort while performing similar processing and analysis. We describe an approach that we call Enriched Text. Instead of producing a single 'complete' stream of tokens, we normalize the text while preserving metadata through annotations. We separate endmatter, detect per-paragraph language, identify clusters of duplicate paragraphs, and compute per-paragraph bits-per-byte scores. We provide this information through HTML-like annotations layered on top of the text. By parsing these annotations, users can tailor the output to their own needs instead of accepting a global editorial decision on content. The pipeline applies to all $\approx$250 languages in the collection. This report describes this project's goals, implementation, and design rationale. The release includes IB-HL-ET (an enriched-text version of IB-HL containing 217B o200k_base tokens across 983,003 volumes, organized into 1.39B annotated subtopic paragraphs) and the pipeline that produced it. These serve to make the collection easier for machines to parse and for humans to study.
- Abstract（参考訳）: 2025年に出版されたInstitutional Books: Harvard Library (IB-HL) は983,004巻 (242B o200k_base tokens) のコレクションであり、当初、Harvard LibraryがGoogle Books Libraryプロジェクトに参加したことでデジタル化された。
研究者や開発者がIB-HLを使い始めるにつれ、標準的な大規模プリプロセッシングプラクティスと慎重な情報スチュワードシップの目標との間に緊張が生じた。
既存のパイプラインの多くはWebテキストに最適化されている。結果として、積極的にフィルタリングし、分離し、言語によって制限し、時には意味のあるメタデータを破棄する傾向がある。
一方、研究者は同様の処理と分析を行いながら、IB-HLの重複利用を模索している。
私たちはEnriched Textと呼ぶアプローチを説明します。
トークンの単一の'完全'ストリームを生成する代わりに、アノテーションを通じてメタデータを保持しながら、テキストを正規化します。
エンドマッターを分離し、パラグラフ言語を検知し、重複する段落のクラスタを識別し、パラグラフ単位のビット単位のスコアを計算する。
この情報は、HTMLライクなアノテーションをテキストの上に重ねて提供します。
これらのアノテーションを解析することで、ユーザーはコンテンツに関するグローバルな編集決定を受け入れるのではなく、アウトプットを自身のニーズに合わせることができる。
パイプラインはコレクション内のすべての$\approx$250言語に適用される。
本報告では,プロジェクトの目標,実装,設計の合理性について述べる。
IB-HL-ET(983,003巻にわたる217B o200k_baseトークンを含むIB-HLのリッチテキスト版で、1.39Bの注釈付きサブトピックの段落で構成されている)と、それを生成したパイプラインを含む。
これらは、機械が解析しやすくし、人間が学習できるようにするのに役立つ。
関連論文リスト
- UniRec-0.1B: Unified Text and Formula Recognition with 0.1B Parameters [55.34921520578968]
視覚言語モデル(VLM)は、テキストと公式の統一的な認識を実現している。
パラメータが0.1Bしか持たない統一認識モデルUniRec-0.1Bを提案する。
文字、単語、行、段落、文書など、複数のレベルでテキストや公式の認識を行うことができる。
論文 参考訳（メタデータ） (2025-12-24T10:35:21Z) - HPLT 3.0: Very Large-Scale Multilingual Resources for LLM and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models [25.953042884928006]
約200の言語に対して、オープンで、非常に大きく、高品質で、リッチな注釈付きテキストデータセットを提供するためのイニシアティブを提示します。
30兆のトークンで、これはおそらくLLM事前学習データの多言語収集としては最大である。
57種類のモノリンガルエンコーダ-デコーダモデルと、少数のモノリンガルGPT様参照モデルを訓練し、評価する。
論文 参考訳（メタデータ） (2025-11-02T20:16:38Z) - FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language [48.79534869177174]
我々は、FineWebをベースにした、新しいトレーニング済みデータセットキュレーションパイプラインを導入する。
我々のパイプラインは、以前のデータセットよりもパフォーマンスの高いモデルを生成する非英語コーパスを作成するために使用できることを示す。
パイプラインを約100のCommon Crawlスナップショットを使用して1000以上の言語に拡張し、新たに20テラバイト(50億ドキュメント)のマルチリンガルデータセットであるFinWeb2を生成しました。
論文 参考訳（メタデータ） (2025-06-26T01:01:47Z) - Semantic Outlier Removal with Embedding Models and LLMs [0.45080838507508303]
我々は,不必要なテキストセグメントを識別・抽出するためのコスト効率のよい透明なSORE(Semantic Outlier removal)を紹介する。
SOREは、約LLM抽出精度をコストのごく一部で達成する。
当社のシステムは現在本番環境にデプロイされており、複数の言語で毎日数百万のドキュメントを処理しています。
論文 参考訳（メタデータ） (2025-06-19T23:06:12Z) - Institutional Books 1.0: A 242B token dataset from Harvard Library's collections, refined for accuracy and usability [1.3281177137699656]
Institutional Books 1.0は、2006年からHarvard LibraryのGoogle Booksプロジェクトへの参加を通じてデジタル化されたパブリックドメインブックのコレクションである。
ハーバード図書館で作業し、これらの論文を抽出し、分析し、処理し、歴史文書の広範囲に記録されたデータセットにしました。
この分析は、当初250以上の異なる言語で書かれた1,075,899巻に及ぶ、約250億個のトークンをスキャンしたハーバード図書館のコレクション全体をカバーしている。
論文 参考訳（メタデータ） (2025-06-10T00:11:30Z) - Low-Resource Language Processing: An OCR-Driven Summarization and Translation Pipeline [0.0]
本稿では,画像ベース文書からの多言語情報抽出と処理のためのエンドツーエンドスイートを提案する。
このシステムは、英語、ヒンディー語、タミル語などの言語でテキストを抽出するために光文字認識(Tesseract)を使用している。
現在の研究では、言語ギャップを埋め、異なる言語環境における画像メディアの情報へのアクセスを強化するために、ライブラリ、モデル、APIの現実的な応用が示されている。
論文 参考訳（メタデータ） (2025-05-16T12:20:37Z) - Discourse Features Enhance Detection of Document-Level Machine-Generated Content [53.41994768824785]
機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。
既存のMGC検出器は、しばしば表面レベルの情報のみに焦点を当て、暗黙的かつ構造的な特徴を見渡す。
これらの課題を克服するために、新しい方法論とデータセットを導入します。
論文 参考訳（メタデータ） (2024-12-17T08:47:41Z) - MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions [54.08017526771947]
MURI(Multilingual Reverse Instructions)は低リソース言語のための高品質な命令チューニングデータセットを生成する。
MURIは、低リソース言語における既存の人文テキストから命令出力ペアを生成する。
私たちのデータセットであるMURI-ITには200言語にまたがる200万以上の命令出力ペアが含まれています。
論文 参考訳（メタデータ） (2024-09-19T17:59:20Z) - Batching BPE Tokenization Merges [55.2480439325792]
BatchBPEはByte PairアルゴリズムのPython実装である。
ベーシックラップトップ上で高品質なトークンをトレーニングするために使用される。
論文 参考訳（メタデータ） (2024-08-05T09:37:21Z) - LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。
我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-06-03T15:30:36Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳（メタデータ） (2023-05-10T16:40:52Z) - Documenting the English Colossal Clean Crawled Corpus [28.008953329187648]
この作業は、Common Crawlの単一のスナップショットにフィルターのセットを適用することによって作成されたデータセットであるColossal Clean Crawled Corpus(C4; Raffel et al., 2020)の最初のドキュメントを提供します。
まず、テキストがどこから来ていつ書き込まれたかの分布を含む、データのハイレベルな要約から始めます。
次に、最も頻繁なテキストソースを含む、このデータの突出した部分に関するより詳細な分析を行う。
論文 参考訳（メタデータ） (2021-04-18T07:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。