論文の概要: Beyond Blind Compliance: Benchmarking Task Verification in OCR Reasoning
- arxiv url: http://arxiv.org/abs/2609.00232v1
- Date: Mon, 31 Aug 2026 18:39:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:35.981343
- Title: Beyond Blind Compliance: Benchmarking Task Verification in OCR Reasoning
- Title（参考訳）: ブラインドコンプライアンスを超えて - OCR推論におけるタスク検証のベンチマーク
- Abstract要約: 既存の評価では、すべてのタスクが有効で応答可能であると仮定するが、現実世界のOCRシナリオでは、この仮定はしばしば失敗する。
このベンチマークは、8つのOCR関連データセットから作成され、8つの実世界の画像ドメインにまたがる。
Visual Atomic Fact (VAF) アンコールされたパイプラインとフルヒューマン監査によって構築されたVeriOCRBenchは、タスク検証、根本原因診断、過剰拒否の分離された評価を可能にする。
- 参考スコア（独自算出の注目度）: 23.222077284906618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) have achieved strong performance on OCR-centric document understanding and text-rich visual reasoning benchmarks. Yet existing evaluations largely assume that every task is valid and answerable. In real-world OCR scenarios, this assumption often fails: questions may rely on illegible text, occluded evidence, nonexistent visual targets, contradictory premises, or missing variables. We study this reliability gap as OCR-grounded Task Verification: before answering, a model should determine whether the Image Premise (IP), Textual Premise (TP), and Question (Q) jointly define an executable task. We introduce VeriOCRBench, a 1,800-sample human-verified benchmark built from source images drawn from 8 OCR-related datasets and spanning 8 real-world image domains, with controlled, image-grounded diagnostic tasks. It contains 1,600 trap-injected invalid tasks across 8 trap types and four verification dimensions---Visual, Contextual, Factual, and Logical---plus 200 trap-free controls for measuring over-refusal. Built with a Visual Atomic Fact (VAF)-anchored pipeline and full human auditing, VeriOCRBench enables decoupled evaluation of task verification, root-cause diagnosis, and over-refusal. Evaluating 15 leading MLLMs reveals persistent blind compliance, diagnosis failures, and prompt-induced over-refusal, exposing a critical reliability gap in current OCR reasoning systems. The code is available at: https://github.com/zy001122/Beyond-Blind-Compliance.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、OCR中心の文書理解とテキストリッチなビジュアル推論ベンチマークにおいて、強力なパフォーマンスを実現している。
しかし、既存の評価では、すべてのタスクが有効で応答可能であると仮定している。
現実のOCRのシナリオでは、この仮定はしばしば失敗する: 疑問は不可解なテキスト、隠蔽された証拠、存在しない視覚的ターゲット、矛盾する前提、または欠落した変数に依存する。
我々は,この信頼性のギャップを,OCR-grounded Task Verificationとして検討する: 回答する前に,モデルが画像の前提(IP),テキストの前提(TP),質問(Q)を共同で実行可能タスクを定義するかどうかを決定する必要がある。
VeriOCRBenchは、8つのOCR関連データセットから作成され、8つの現実世界の画像ドメインにまたがるソースイメージから構築された1,800サンプルの人体認証ベンチマークである。
8つのトラップタイプにまたがる1,600のトラップ注入無効タスクと4つの検証ディメンション – ビジュアル、コンテキスト、ファクト、論理 – に加えて、オーバーリフレクションを測定する200のトラップフリーコントロールがある。
Visual Atomic Fact (VAF) アンコールされたパイプラインとフルヒューマン監査によって構築されたVeriOCRBenchは、タスク検証、根本原因診断、過剰拒否の分離された評価を可能にする。
15個のMLLMを評価したところ、現在のOCR推論システムにおいて、永続的な盲点コンプライアンス、診断障害、即時的な過剰拒絶が明らかとなり、重大な信頼性のギャップが明らかとなった。
コードは、https://github.com/zy001122/Beyond-Blind-Compliance.comで入手できる。
関連論文リスト
- Beyond OCR Accuracy: Text-Centric VQA Under Image Degradation with Modular and End-to-End [5.790885750156007]
テキスト中心のVisual Question Answering (VQA)は、画像に埋め込まれたテキストを読み書きする必要がある。
モジュール型OCRベースのパイプラインとエンドツーエンドのビジョン言語モデルはどちらもこのタスクに広く使用されているが、劣化した条件下での比較ロバスト性は未解明のままである。
本稿では、ResNet-18と自己アテンション空間モデリングと変形可能な畳み込みを組み合わせた独自の検出器アーキテクチャであるSA-DBNetと2つのモジュールパイプラインを比較した実証的研究を行う。
論文 参考訳（メタデータ） (2026-09-12T08:57:29Z) - OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding [17.12252744862552]
OCR-MetaReasoning(英語版)は、推論、誘導、誘拐を異なる方向として扱う、制御された単一イメージのベンチマークである。
モデルでは可視光ルールアプリケーションとレイアウトに敏感な推論に苦慮している。
論文 参考訳（メタデータ） (2026-08-31T12:20:05Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations [17.186250064889887]
視覚言語モデル(VLM)はOCRベースのベンチマークでは高い性能を達成しているが、制御された視覚劣化下での頑健さは十分に理解されていない。
視覚的摂動下でのOCR推論の堅牢性を評価するためのベンチマークであるOCR-Robustを紹介する。
我々は18以上の候補摂動のパイロットスタディを行い、その影響とモデル間識別性に基づいて、それぞれ3つの重度レベルに5つの代表型を選択した。
論文 参考訳（メタデータ） (2026-06-24T17:15:42Z) - VIRO: Robust and Efficient Neuro-Symbolic Reasoning with Verification for Referring Expression Comprehension [51.76841625486355]
Referring Expression (REC) は、自然言語クエリに対応する画像領域をローカライズすることを目的としている。
最近のニューロシンボリックRECアプローチは、大規模言語モデル(LLM)と視覚言語モデル(VLM)を利用して構成推論を行う。
推論ステップ内に軽量な演算子レベルの検証器を組み込む,ニューロシンボリックなフレームワークであるVIROを紹介する。
論文 参考訳（メタデータ） (2026-01-19T07:21:19Z) - AECV-Bench: Benchmarking Multimodal Models on Architectural and Engineering Drawings Understanding [0.0]
AEC人工物上でのマルチモーダルおよびヴィジュアル言語モデルを評価するためのベンチマークであるAECVBenchを提案する。
その結果、現在のシステムはドキュメントアシスタントと同様に機能するが、ロバストな描画リテラシーが欠如していることが示唆された。
論文 参考訳（メタデータ） (2026-01-08T10:54:32Z) - Semantic Visual Anomaly Detection and Reasoning in AI-Generated Images [96.43608872116347]
AnomReasonは4倍のtextbfAnomAgentのような構造化アノテーションを備えた大規模ベンチマーク
AnomReasonとAnomAgentは、AI生成画像の意味的妥当性の測定と改善の基盤となっている。
論文 参考訳（メタデータ） (2025-10-11T14:09:24Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - OCR-Reasoning Benchmark: Unveiling the True Capabilities of MLLMs in Complex Text-Rich Image Reasoning [39.141660558608265]
OCR-Reasoningは、テキストリッチな画像推論タスクでマルチモーダル大言語モデルを評価するために設計された包括的なベンチマークである。
このベンチマークは、6つのコア推論能力と、テキストリッチなビジュアルシナリオにおける18の実践的推論タスクにまたがる1069の人手による例で構成されている。
注釈付き推論プロセスと最終回答により、OCR-Reasoningはモデルによって生成された最終回答だけでなく、それらの推論プロセスも評価する。
論文 参考訳（メタデータ） (2025-05-22T15:25:14Z) - LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images? [80.4577892387028]
テキストリッチな画像上でLMMの論理的推論能力を評価するために設計された1,100の多重選択質問からなるベンチマークであるLogicOCRを紹介する。
我々は、テキストコーパスをマルチモーダルサンプルに変換するスケーラブルで自動化されたパイプラインを開発した。
我々は,Chain-of-Thought (CoT) とダイレクト・アンサー・セッティングの両方で,オープンソースとプロプライエタリなLMMを多岐にわたって評価する。
論文 参考訳（メタデータ） (2025-05-18T08:39:37Z) - CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。
39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。
我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
論文 参考訳（メタデータ） (2024-12-03T07:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。