論文の概要: OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding
- arxiv url: http://arxiv.org/abs/2608.30678v1
- Date: Mon, 31 Aug 2026 12:20:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.384589
- Title: OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding
- Title（参考訳）: OCR-MetaReasoningベンチマーク:テキストリッチ画像理解におけるMLLMのメタ推論能力の評価
- Abstract要約: OCR-MetaReasoning(英語版)は、推論、誘導、誘拐を異なる方向として扱う、制御された単一イメージのベンチマークである。
モデルでは可視光ルールアプリケーションとレイアウトに敏感な推論に苦慮している。
- 参考スコア（独自算出の注目度）: 17.12252744862552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-rich image understanding requires multimodal large language models (MLLMs) to organize OCR (Optical Character Recognition)-grounded evidence across words, layout, fields, charts, and visual correspondences. Existing evaluations often conflate extraction with reasoning and rarely test whether models follow the required reasoning direction: applying visible rules, abstracting hidden regularities, or recovering missing premises. We introduce OCR-MetaReasoning, a controlled single-image benchmark that treats deduction, induction, and abduction as distinct directions and separates final-answer correctness from reasoning-process compliance. The benchmark contains 1,500 verified samples in a balanced \(3\times5\) taxonomy crossing three reasoning types with five OCR-object categories, along with reference reasoning steps, automatic answer scoring, the Meta-Reasoning Macro Score (MRMS), and the Reasoning Process Compliance Score (RPCS). Experiments with representative closed-source and open-source MLLMs show that OCR-grounded meta-reasoning remains far from saturated: models struggle with visible-rule application and layout-sensitive inference, while process-compliant rationales can accompany incorrect final answers under exact-match evaluation. The code is available at https://github.com/gengxuli/OCR-MetaReasoning.
- Abstract（参考訳）: テキストに富んだ画像理解には、単語、レイアウト、フィールド、チャート、視覚的対応をまたいだOCR(Optical Character Recognition)に基づく証拠を整理するために、MLLM(Multimodal large language model)が必要である。
既存の評価では、抽出を推論と説明し、可視的なルールの適用、隠された規則の抽象化、欠落した前提の回復など、モデルが要求される推論方向に従うかどうかを検査することは滅多にない。
OCR-MetaReasoning(英語版)は、推論、誘導、誘拐を別々の方向として扱い、最終回答の正しさを推論プロセスのコンプライアンスから分離する制御された単一イメージベンチマークである。
ベンチマークには,5つのOCR-オブジェクトカテゴリを持つ3つの推論タイプを横断するバランス付き \(3\times5\) 分類の1500の検証サンプルと,参照推論ステップ,自動回答スコア,メタ推論マクロスコア(MRMS),および推論プロセスコンプライアンススコア(RPCS)が含まれている。
一般的なクローズドソースおよびオープンソースMLLMによる実験では、OCRによるメタ推論は、可視ルールアプリケーションとレイアウトに敏感な推論に苦しむ一方で、プロセス準拠の論理は、正確なマッチング評価の下で不正確な最終回答に付随する可能性がある。
コードはhttps://github.com/gengxuli/OCR-MetaReasoning.comで公開されている。
関連論文リスト
- Beyond Blind Compliance: Benchmarking Task Verification in OCR Reasoning [23.222077284906618]
既存の評価では、すべてのタスクが有効で応答可能であると仮定するが、現実世界のOCRシナリオでは、この仮定はしばしば失敗する。
このベンチマークは、8つのOCR関連データセットから作成され、8つの実世界の画像ドメインにまたがる。
Visual Atomic Fact (VAF) アンコールされたパイプラインとフルヒューマン監査によって構築されたVeriOCRBenchは、タスク検証、根本原因診断、過剰拒否の分離された評価を可能にする。
論文 参考訳（メタデータ） (2026-08-31T18:39:46Z) - OmniHandwritingOCR: A Diagnostic Benchmark for Evaluating Multimodal LLMs in Handwritten OCR Scenarios [15.793450444852455]
OmniHandwriting OCRは手書きOCR上でMLLMとOCRシステムを評価するための診断ベンチマークである。
6つのサブタスクと12のサブセットにまたがる手書きのテキスト認識と手書きの数学的表現認識をカバーし、合計77.57Kのラベル付き画像である。
我々は,統一プロトコルの下で5つの相補的なメトリクスを持つ13のオープンソースおよびクローズドソースシステムを評価する。
論文 参考訳（メタデータ） (2026-08-19T06:27:05Z) - TongGuOCR: A Layout-Aware and Token-Augmented OCR MLLM for Chinese Historical Documents [50.64307290680222]
TongGuOCRは、中国古文書のOCRのためのレイアウト対応およびトークン拡張型マルチモーダル言語モデル(MLLM)である。
TongGuOCRは93.76 ARを達成し、NEDを10.43から6.15に、RO-EDを7.53から3.49に下げる。
論文 参考訳（メタデータ） (2026-08-08T04:50:00Z) - ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。
本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。
CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-02T04:52:54Z) - Peek-a-Boo Reasoning: Contrastive Region Masking in MLLMs [8.669514778798222]
トレーニングフリー診断であるContrastive Region Maskingを紹介する。
MLLM(Multimodal large language model)は,チェーン・オブ・ソート(CoT)推論の各ステップにおいて,特定の視覚領域にどのように依存するかを明らかにする。
論文 参考訳（メタデータ） (2025-12-03T16:05:32Z) - Multimodal Reasoning Agent for Zero-Shot Composed Image Retrieval [52.709090256954276]
Zero-Shot Composed Image Retrieval (ZS-CIR) は、合成クエリによってターゲット画像を取得することを目的としている。
本稿では,ZS-CIRにMRA(Multimodal Reasoning Agent)を用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T13:17:50Z) - OCR-Reasoning Benchmark: Unveiling the True Capabilities of MLLMs in Complex Text-Rich Image Reasoning [39.141660558608265]
OCR-Reasoningは、テキストリッチな画像推論タスクでマルチモーダル大言語モデルを評価するために設計された包括的なベンチマークである。
このベンチマークは、6つのコア推論能力と、テキストリッチなビジュアルシナリオにおける18の実践的推論タスクにまたがる1069の人手による例で構成されている。
注釈付き推論プロセスと最終回答により、OCR-Reasoningはモデルによって生成された最終回答だけでなく、それらの推論プロセスも評価する。
論文 参考訳（メタデータ） (2025-05-22T15:25:14Z) - Reasoning-OCR: Can Large Multimodal Models Solve Complex Logical Reasoning Problems from OCR Cues? [73.35232225256968]
Reasoning-OCRは、リッチビジュアルテキストから抽出できるキューに基づいて複雑な推論問題を解決するためにLMMに挑戦する。
我々の評価は、異なる理由付けの課題において、プロプライエタリでオープンソースのLMMにいくつかの洞察を与えます。
論文 参考訳（メタデータ） (2025-05-19T06:45:18Z) - LogicOCR: Do Your Large Multimodal Models Excel at Logical Reasoning on Text-Rich Images? [80.4577892387028]
テキストリッチな画像上でLMMの論理的推論能力を評価するために設計された1,100の多重選択質問からなるベンチマークであるLogicOCRを紹介する。
我々は、テキストコーパスをマルチモーダルサンプルに変換するスケーラブルで自動化されたパイプラインを開発した。
我々は,Chain-of-Thought (CoT) とダイレクト・アンサー・セッティングの両方で,オープンソースとプロプライエタリなLMMを多岐にわたって評価する。
論文 参考訳（メタデータ） (2025-05-18T08:39:37Z) - Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval [38.569818461453394]
Retrieval-Augmented Generation (RAG)は、外部文書の応答をグラウンド化するための技術である。
従来のRAGシステムは、スキャンされた文書をテキストに最初に処理するために光学文字認識(OCR)に依存していた。
ColPaliのような近年の視覚言語アプローチでは、ドキュメントの直接的な視覚的埋め込みを提案しており、OCRの必要性を排除している。
論文 参考訳（メタデータ） (2025-05-08T21:54:02Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - CC-OCR: A Comprehensive and Challenging OCR Benchmark for Evaluating Large Multimodal Models in Literacy [50.78228433498211]
CC-OCRは、マルチシーンテキスト読取、多言語テキスト読取、文書解析、キー情報抽出の4つのOCR中心のトラックで構成されている。
39のサブセットと7,058のフルアノテートされたイメージが含まれており、そのうち41%が実際のアプリケーションからソースされ、初めてリリースされた。
我々は9つの顕著なLMMを評価し、これらのモデルの長所と短所、特にテキストの接地、多目的化、繰り返しの幻覚について明らかにした。
論文 参考訳（メタデータ） (2024-12-03T07:03:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。