論文の概要: From Pixels to Pairs: A Comprehensive Benchmark of LLM-Based Key-Value Extraction in Noisy Document Settings

• arxiv url: http://arxiv.org/abs/2609.17538v1
• Date: Tue, 14 Jul 2026 02:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.54684
• Title: From Pixels to Pairs: A Comprehensive Benchmark of LLM-Based Key-Value Extraction in Noisy Document Settings
• Title（参考訳）: 画素からペアへ:うるさい文書設定におけるLLMに基づくキー値抽出の総合ベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、文書から構造化情報を取り出すのにますます使われている。 クリーンテキストおよびノイズの多いOCR条件下でキー値対(KVP)抽出のためのオープンソースの命令調整LDMのベンチマークを示す。
• 参考スコア（独自算出の注目度）: 4.082216579462797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly used for structured information extraction from documents, yet their behavior under realistic OCR noise remains poorly understood. We present a systematic benchmark of open-source instruction-tuned LLMs for key-value pair (KVP) extraction under both clean-text and noisy OCR conditions. We evaluate representative decoder-only models (Gemma, Mistral, Qwen2.5, LLaMA 3, and DeepSeek) on the FUNSD, CORD, and SROIE benchmarks using both Gold-text annotations and OCR outputs from PaddleOCR, EasyOCR, and Tesseract. A unified evaluation protocol isolates the effects of input quality, model design, and prompting under consistent conditions. The results show that modern LLMs act as strong semantic extractors when high-quality text is available, in some cases approaching supervised layout-aware systems. Under OCR noise, however, performance degrades substantially and performance gaps between models narrow as input corruption increases. Across all datasets, extraction performance is governed by two factors: semantic reasoning over text and preservation of textual fidelity under OCR noise. While larger models improve results on clean text, these gains diminish under noisy inputs, where OCR quality becomes the dominant factor. We also identify recurring failure modes, including key-value misalignment, hallucination, and numeric corruption. Our findings highlight the gap between clean-text evaluation and real-world deployment, emphasizing the need to jointly improve OCR quality, structural reasoning, and LLM-based semantic modeling.
• Abstract（参考訳）: 大規模言語モデル (LLM) は文書からの構造化情報抽出にますます利用されているが、現実的なOCRノイズ下でのそれらの振る舞いはよく分かっていない。 クリーンテキストおよびノイズの多いOCR条件下でキー値対(KVP)抽出のためのオープンソースの命令調整LDMの体系的ベンチマークを示す。 FUNSD, CORD, および SROIE ベンチマーク上で, PaddleOCR, EasyOCR, Tesseract からのゴールドテキストアノテーションと OCR 出力を用いて, 代表デコーダのみのモデル (Gemma, Mistral, Qwen2.5, LLaMA 3, DeepSeek) を評価する。 統一評価プロトコルは、入力品質、モデル設計、一貫した条件下でのプロンプトの影響を分離する。 その結果,現代LLMは高品質なテキストが利用可能である場合に強力な意味抽出器として機能し,場合によっては教師付きレイアウト認識システムに近づいた。 しかし、OCRノイズの下では、性能が著しく低下し、入力の破損が増加するにつれてモデル間の性能ギャップが狭まる。 すべてのデータセットにおいて、抽出性能は、テキスト上の意味的推論と、OCRノイズ下でのテキストの忠実さの保存という2つの要因によって制御される。 より大規模なモデルではクリーンテキストの結果が向上する一方、ノイズの多い入力では、OCRの品質が支配的な要因となるため、これらの利得は減少する。 また、キーバリューのミスアライメント、幻覚、数値汚職など、繰り返し発生する障害モードを特定します。 本研究は,OCRの品質向上,構造的推論,LLMに基づくセマンティックモデリングの必要性を強調し,クリーンテキスト評価と実世界の展開のギャップを浮き彫りにした。

関連論文リスト

• TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
  TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。 TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
  論文  参考訳（メタデータ） (2026-08-08T04:50:00Z)
• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations [17.186250064889887]
  視覚言語モデル(VLM)はOCRベースのベンチマークでは高い性能を達成しているが、制御された視覚劣化下での頑健さは十分に理解されていない。 視覚的摂動下でのOCR推論の堅牢性を評価するためのベンチマークであるOCR-Robustを紹介する。 我々は18以上の候補摂動のパイロットスタディを行い、その影響とモデル間識別性に基づいて、それぞれ3つの重度レベルに5つの代表型を選択した。
  論文  参考訳（メタデータ） (2026-06-24T17:15:42Z)
• Align Documents to Questions: Question-Oriented Document Rewriting for Retrieval-Augmented Generation [51.55755193937205]
  提案するQREAMは,検索した文書を事実を保存しながら質問指向のスタイルで整列するスタイル制御リライタである。 本フレームワークは,(1) 反復的書き換え探索にスタイリスティックシードを用いたQREAM-ICL,(2) ICL出力から抽出した軽量学生モデルQREAM-FTの2段階からなる。
  論文  参考訳（メタデータ） (2026-04-19T08:39:21Z)
• GLM-OCR Technical Report [65.42028025507491]
  GLM-OCRは実世界の文書理解のために設計された効率的なコンパクトモデルである。 CogViTビジュアルエンコーダとGLM言語デコーダを組み合わせることで、計算効率と認識性能のバランスが強い。 公開ベンチマークと産業シナリオの大規模な評価は、GLM-OCRが競争力や最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-03-11T15:55:47Z)
• AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context [10.769682566098695]
  AACR-Benchは、複数のプログラミング言語にまたがる完全なクロスファイルコンテキストを提供する包括的なベンチマークである。 従来のデータセットとは異なり、AACR-Benchは潜伏する欠陥を明らかにするために"AIアシスト、エキスパート検証"のアノテーションパイプラインを使用している。
  論文  参考訳（メタデータ） (2026-01-27T11:28:44Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。