論文の概要: Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application

• arxiv url: http://arxiv.org/abs/2608.18289v1
• Date: Tue, 18 Aug 2026 20:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.201788
• Title: Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application
• Title（参考訳）: リスクの高い公共セクターアプリケーションにおけるオープンモデルによる構造化情報抽出の評価
• Abstract要約: 高リスクに分類される複雑な実世界の文書処理タスクにおいて、オープンソースシステムのエンドツーエンドのパフォーマンスを評価する。 我々の結果によると、VLMは一般的にOCR+LLMパイプラインより優れているが、最先端のオープンソースモデルでさえ、そのようなタスクをゼロショット設定で確実に処理するのに苦労している。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The extraction of structured information from unstructured documents represents a critical component of digital transformations in all sectors. While proprietary solutions dominate commercial applications, a rapidly growing ecosystem of open-source Optical Character Recognition (OCR) engines, Large Language Models (LLMs), and Vision-Language Models (VLMs) offers accessible alternatives. However, systematic evaluations on realistic, multi-step extraction pipelines remain scarce. Responsible usage of such extraction tools require comprehensive evaluations on realistic tasks, especially as these solutions will be key components of applications in the public sector that the EU AI act categorizes as high risk. To address this gap we present a comprehensive benchmark assessing the end-to-end performance of open-source systems on a complex real-world document processing task classified as high risk: Student applications for an international study program. We conduct a comprehensive empirical evaluation with state-of-the-art OCR engines, LLMs and VLMs. Our results reveal that while VLMs generally outperform OCR+LLM pipelines, even state-of-the-art open-source models struggle to handle such tasks reliably in zero-shot settings. Only 4 of 35 configurations achieved F1 scores above 0.5, with the best OCR+LLM pipeline matching top VLM performance, though most OCR+LLM combinations performed substantially worse. Roughly 75\% of all configurations scored below 0.25. Model scale influences performance, yet the relationship is non-linear: substantially larger models do not guarantee proportionally better results. Input quality, particularly the structural preservation of OCR output, emerges as a critical factor independent of downstream model capability.
• Abstract（参考訳）: 非構造化文書からの構造化情報の抽出は、あらゆる分野におけるデジタルトランスフォーメーションの重要な構成要素である。 プロプライエタリなソリューションが商用アプリケーションを支配している一方で、オープンソースのOCRエンジン、LLM(Large Language Models)、VLM(Vision-Language Models)といったエコシステムが急速に成長している。 しかし,現実的な多段階抽出パイプラインの体系的評価は依然として乏しい。 こうした抽出ツールの責任ある使用には、特にこれらのソリューションは、EUのAI行為が高いリスクとして分類する公共セクターにおけるアプリケーションの重要なコンポーネントとなるため、現実的なタスクに関する包括的な評価が必要である。 このギャップに対処するため、我々は、高リスクに分類される複雑な実世界の文書処理タスクにおいて、オープンソースシステムのエンドツーエンドのパフォーマンスを評価するための総合的なベンチマークを示す。 我々は、最先端のOCRエンジン、LLM、VLMを用いて総合的な実験評価を行う。 我々の結果によると、VLMは一般的にOCR+LLMパイプラインより優れているが、最先端のオープンソースモデルでさえ、そのようなタスクをゼロショット設定で確実に処理するのに苦労している。 35点中4点のみが0.5点以上を達成し、最高のOCR+LLMパイプラインがトップVLMのパフォーマンスにマッチしたが、ほとんどのOCR+LLMの組み合わせは大幅に悪化した。 全構成の約75%が0.25未満である。 モデルスケールはパフォーマンスに影響を与えるが、関係性は非線形である。 入力品質、特にOCR出力の構造保存は、下流モデル能力とは無関係に重要な要素として現れる。

関連論文リスト

• CC-OCR V2: Benchmarking Large Multimodal Models for Literacy in Real-world Document Processing [33.84177435117706]
  CC-OCR V2は、現実世界の文書処理に適した総合的で挑戦的なOCRベンチマークである。 CC-OCR V2は、実際のエンタープライズ文書処理タスクに重点を置いており、以前のベンチマークでは重要ではありませんでしたが、ハードケースとコーナーケースを取り入れています。 14の先進的なLMMの実験により、現在のモデルは現実世界のアプリケーション要件に満たないことが明らかになった。
  論文  参考訳（メタデータ） (2026-05-05T15:56:12Z)
• PP-OCRv5: A Specialized 5M-Parameter Model Rivaling Billion-Parameter Vision-Language Models on OCR Tasks [21.41974664575541]
  OCR 2.0 と大規模視覚言語モデル (VLM) はテキスト認識のベンチマークを新たに設定した。 PP-OCRv5は,500万のパラメータしか持たない高度に最適化された軽量なOCRシステムである。
  論文  参考訳（メタデータ） (2026-03-25T14:54:40Z)
• GLM-OCR Technical Report [65.42028025507491]
  GLM-OCRは実世界の文書理解のために設計された効率的なコンパクトモデルである。 CogViTビジュアルエンコーダとGLM言語デコーダを組み合わせることで、計算効率と認識性能のバランスが強い。 公開ベンチマークと産業シナリオの大規模な評価は、GLM-OCRが競争力や最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-03-11T15:55:47Z)
• HunyuanOCR Technical Report [28.160663178408864]
  HunyuanOCRは、OCRタスク専用の商用グレード、オープンソース、軽量(1Bパラメータ)ビジョンランゲージモデル(VLM)である。 認識タスク(テキストスポッティング、パーシング)における現在の公開ソリューションを超え、セマンティックタスク(IE、テキスト画像翻訳)において優れています。 3Bパラメータ未満のVLMのうち、OCRBenchのSOTA(State-of-the-art)結果が得られる。
  論文  参考訳（メタデータ） (2025-11-24T17:59:59Z)
• Scaling Beyond Context: A Survey of Multimodal Retrieval-Augmented Generation for Document Understanding [61.36285696607487]
  文書理解は、財務分析から科学的発見への応用に不可欠である。 現在のアプローチでは、OCRベースのパイプラインがLarge Language Models(LLM)やネイティブのMultimodal LLMs(MLLM)に制限されている。 Retrieval-Augmented Generation (RAG)は、外部データの基底モデルを支援するが、文書のマルチモーダルな性質は、テキスト、テーブル、チャート、レイアウトを組み合わせることで、より高度なパラダイムを必要とする。
  論文  参考訳（メタデータ） (2025-10-17T02:33:16Z)
• CodeFuse-CR-Bench: A Comprehensiveness-aware Benchmark for End-to-End Code Review Evaluation in Python Projects [23.9752442213364]
  CodeFuse-CR-Benchは、リポジトリレベルのCR評価のための、最初の包括性対応ベンチマークである。 CodeFuse-CR-Benchは、9つのプルリクエスト(PR)問題ドメインをカバーする70のPythonプロジェクトから601の高品質なインスタンスで構成されている。 本稿では,この包括的CR課題に対して,最先端の大規模言語モデル(LLM)の大規模評価を行う。
  論文  参考訳（メタデータ） (2025-09-18T11:24:09Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• EasyECR: A Library for Easy Implementation and Evaluation of Event Coreference Resolution Models [9.773388073690326]
  イベント参照解決(ECR)は、同じ現実世界のイベントを参照するイベント参照をクラスタ化するタスクである。 EasyECRは、データ構造を標準化し、ECRパイプラインを抽象化するために設計された、最初のオープンソースライブラリである。
  論文  参考訳（メタデータ） (2024-06-20T08:40:21Z)
• Self-Retrieval: End-to-End Information Retrieval with One Large Language Model [97.71181484082663]
  本稿では,新たなLLM駆動情報検索アーキテクチャであるSelf-Retrievalを紹介する。 自己検索は、自己教師付き学習を通じて検索コーパスを内部化し、検索プロセスをシーケンシャルな通過生成に変換し、再ランク付けのための関連性評価を行う。
  論文  参考訳（メタデータ） (2024-02-23T18:45:35Z)
• Donut: Document Understanding Transformer without OCR [17.397447819420695]
  我々は,OCRフレームワークを基盤にすることなく,エンドツーエンドのトレーニングが可能な新しいVDUモデルを提案する。 提案手法は,公開ベンチマークデータセットとプライベート産業サービスデータセットの各種文書理解タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-30T18:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。