論文の概要: Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
- arxiv url: http://arxiv.org/abs/2608.16390v1
- Date: Mon, 17 Aug 2026 10:41:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.639711
- Title: Counting Documents Is Not Counting Text: Unit Bias in Web-PDF Corpus Statistics
- Title（参考訳）: 文書のカウントはテキストをカウントしない: Web-PDF コーパス統計の単位バイアス
- Abstract要約: CC-MAIN- 2021-31-PDF-UNTRUNCated (7.9M web PDFs, 32.6B tokens)では、テキストを含む文書の3.02%がトークンの半分を保有している。
CC-MAIN- 2021-31-PDF-UNTRUNCated (7.9M web PDFs, 32.6B tokens)では、テキストを含む文書の3.02%がトークンの半分を保有している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: PDF corpora advertise their size in tokens but compute every rate they publish (coverage, OCR routing, re-fetch recovery, language mix) per document, and none decomposes its token total. The two units diverge sharply. On CC-MAIN-2021-31-PDF-UNTRUNCATED (7.9M web PDFs, 32.6B tokens), 3.02% of text-bearing documents hold half the tokens (Gini 0.807); documents over 50 pages are 5.00% of the corpus but 53.53% of its text. The PDFs produced by a TeX{} toolchain are 1.66% of documents and 4.05% of the text. The clearest casualty is Common Crawl's truncation cap: it affected 23.06% of documents and 63.08% of the text. Reconstructing the truncated files and extracting both versions, two widely used libraries recover 11.4% and 1.4% of that text; between 72% and 97% of affected documents yield nothing; roughly 55--62% of the corpus's text is lost. Under the 5 MiB cap adopted in March 2025, 30.19% of tokens would still be truncated, and recovery on those documents rises only from 3.3% to 13.2%. We recommend that corpus statistics be reported in both units: documents and tokens.
- Abstract（参考訳）: PDFコーポラはトークンでサイズを宣伝するが、発行するすべてのレート(カバレッジ、OCRルーティング、再フェッチリカバリ、言語ミックス)を文書ごとに計算し、トークンを合計で分解することはない。
2つのユニットは急変する。
CC-MAIN-2021-31-PDF-UNTRUNCated (7.9M web PDFs, 32.6B tokens), 3.02%のテキスト添付文書はトークンの半分(Gini 0.807),50ページ以上の文書はコーパスの5.00%,53.53%である。
TeX{}ツールチェーンが生成するPDFは1.66%のドキュメントと4.05%のテキストである。
最も明確な犠牲者はコモン・クローリングのトランケーションキャップであり、文書の23.06%とテキストの63.08%に影響を与えた。
削除されたファイルを再構築し、両方のバージョンを抽出し、2つの広く使われている図書館は、そのテキストの11.4%と1.4%を回復し、影響を受ける文書の72%から97%は、何も生成しない。
2025年3月に採択された5MiBの上限の下では、トークンの30.19%は取り消され、それらの文書の回復は3.3%から13.2%に留まった。
コーパス統計は、文書とトークンの両方で報告することを推奨する。
関連論文リスト
- Vowel Signs Are Not Letters: A Pre-tokenization Ceiling on Multilingual Tokenizer Fertility [0.0]
バグダスクリプトでは、母音は結合マークとして書かれており、このパターンは各母音記号でそれぞれの単語を分割する。
BPEはプレトーケン内でのみマージするため、これらの分割は語彙サイズやコーパス構成に関係なくトレーニングを通じて持続する。
平行コーパスから26の言語にまたがって、17のバグダのうち1つが影響を受けており、それらは1.47倍(チベット語)から9.02倍(タイ語)まで様々である。
5つの言語では、この文字クラスでのみ異なる一致するトークン化器ペアが予測フロアの2.2%以内に落ち、ネパール語では1語当たりのトークンが4.78、ネパール語では1.58である。
論文 参考訳（メタデータ） (2026-08-26T22:56:24Z) - Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations [0.0]
長いドキュメントに対する検索拡張生成は、テキストをチャンクし、チャンクを埋め、クエリの最も近い隣人にサーフェスする、という1つの設計によって支配されている。
我々は、財務報告、監査報告、規制リターンといった重要な文書のクラスにとって、この設計は構造的に不正確であると主張する。
本稿では,READ(Reliable Embedding-free Agentic Document-search)を提案する。
論文 参考訳（メタデータ） (2026-08-06T17:23:13Z) - LV-ROVER-MLT: Low-Resource Maltese OCR by Multi-Stream Voting [0.0]
本稿では,文字誤り率0.0234の微調整Tesseractベースラインに対するベンチマーク結果について報告する。
アンサンブル認識のみは、ベースラインと同じラベルの慣例で行われ、文字エラー率を44%改善して0.01317に向上する。
Tesseractのストレートクォートとダッシュ出力をベンチマークのキュリークォート規則に合わせる後処理チェーンと、誤読ダイアクリティカルを回復する1つのステージは、完全なパイプラインを文字エラー率0.00700に導く。
論文 参考訳（メタデータ） (2026-06-30T22:58:41Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - MPDocBench-Parse: Benchmarking Practical Multi-page Document Parsing [74.84107522458798]
MPDocBench-Parseは、現実世界のアプリケーションにおけるマルチページ文書解析のためのベンチマークである。
433の注釈付き文書に3,246ページあり、英語と中国語の15種類の文書を網羅しており、レイアウトは様々である。
論文 参考訳（メタデータ） (2026-05-21T07:36:41Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - AICC: Parse HTML Finer, Make Models Better -- A 7.3T AI-Ready Corpus Built by a Model-Based HTML Parser [54.623900859999424]
我々は、コンテンツ抽出をシーケンスラベリング問題として再構成する新しい抽出パイプラインであるMinerU-HTMLを紹介する。
MainWebBenchでは、7,887の注釈付きWebページ、MinerU-HTML 81.8%のROUGE-N F1をTrfilaturaの63.6%と比較した。
論文 参考訳（メタデータ） (2025-11-20T14:15:23Z) - LOCR: Location-Guided Transformer for Optical Character Recognition [55.195165959662795]
自動回帰中にトランスフォーマーアーキテクチャに位置案内を組み込むモデルであるLOCRを提案する。
125Kの学術文書ページから777万以上のテキスト配置ペアからなるデータセット上でモデルをトレーニングする。
これは、編集距離、BLEU、METEOR、F測定によって測定されたarXivから構築されたテストセットの既存のメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-03-04T15:34:12Z) - Document Layout Annotation: Database and Benchmark in the Domain of
Public Affairs [62.38140271294419]
レイアウトラベルの異なるデジタル文書を半自動アノテートする手法を提案する。
スペイン政府から24データソースの集合を用いて,行政領域におけるDLAの新しいデータベースを収集する。
実験の結果,提案したテキストラベリング手順を99%の精度で検証した。
論文 参考訳（メタデータ） (2023-06-12T08:21:50Z) - A Comprehensive Handwritten Paragraph Text Recognition System:
LexiconNet [3.9097549127191473]
我々は,手書き文字認識の文献から,最先端の2つの手法を用いた効率的な手順を提示した。
アテンションモジュールは内部の行セグメンテーションに責任を持ち、結果としてページを行単位で処理する。
復号化ステップでは、時間的分類に基づく単語ビーム検索デコーダを後処理ステップとして追加した。
論文 参考訳（メタデータ） (2022-05-23T03:35:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。