論文の概要: MERIT: Multimodal Evidence Reasoning over Image Tables
- arxiv url: http://arxiv.org/abs/2610.17937v1
- Date: Tue, 13 Oct 2026 08:21:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.558122
- Title: MERIT: Multimodal Evidence Reasoning over Image Tables
- Title(参考訳): MERIT:画像テーブル上でのマルチモーダルエビデンス推論
- Abstract要約: 本稿では,MERIT(Multimodal Evidence Reasoning over Image Tables)を提案する。
本分析では,視覚的エビデンス獲得をボトルネックとして,再現,局所化,カラーコンディショニングによるテーブル固有エンコーダ適応を動機づける。
テーブル質問応答と事実検証のアプローチを評価し、視覚入力とトレーニングコンポーネントのコントリビューションを分析し、追加データセットへの一般化を評価する。
- 参考スコア(独自算出の注目度): 10.606924435357453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Table reasoning with language models typically assumes access to clean textual tables. In practice, tables are often serialized into text, which can corrupt cell contents, distort structural relationships, and discard visual cues, leaving the model to reason over incomplete evidence. In contrast, table images retain this information, but using it requires both accurate perception and reasoning grounded in the relevant cells. To address this, we propose MERIT (Multimodal Evidence Reasoning over Image Tables), a three-stage framework for learning to reason over table images, with serialized tables serving as optional auxiliary inputs (if provided). Our analysis identifies visual evidence acquisition as a bottleneck, motivating table-specific encoder adaptation through reconstruction, localization, and color-conditioned supervision. Building on the adapted representations, supervised fine-tuning teaches explicit evidence selection and reasoning using verified trajectories. Finally, reinforcement learning refines the policy with separate rewards for evidence correctness, calculation, final answers, and output format. By providing feedback on intermediate steps, the framework targets retrieval and computational errors that final-answer supervision alone does not distinguish. We evaluate the approach on table question answering and fact verification, analyze the contributions of visual inputs and training components, and assess generalization to additional datasets with different table structures and visual presentations.
- Abstract(参考訳): 言語モデルによるテーブル推論は、典型的にはクリーンなテキストテーブルへのアクセスを前提としている。
実際には、表はしばしばテキストにシリアライズされるため、細胞の内容が損なわれ、構造的関係が歪んだり、視覚的手がかりが破棄される。
対照的に、テーブルイメージはこれらの情報を保持するが、それを使用するには、関連する細胞に正確な認識と推論の両方が必要である。
そこで本稿では,MERIT(Multimodal Evidence Reasoning over Image Tables)を提案する。
本分析では,視覚的エビデンス獲得をボトルネックとして,再現,局所化,カラーコンディショニングによるテーブル固有エンコーダ適応を動機づける。
適応された表現に基づいて、教師付き微調整は、検証された軌跡を用いた明確なエビデンスの選択と推論を教える。
最後に、強化学習は、エビデンス正当性、計算、最終回答、出力フォーマットに対して異なる報酬でポリシーを洗練する。
中間段階に対するフィードバックを提供することで、最終回答の監督だけでは区別できない検索と計算エラーを目標とする。
テーブル質問応答と事実検証のアプローチを評価し、視覚入力とトレーニングコンポーネントのコントリビューションを分析し、異なるテーブル構造と視覚提示を持つ追加データセットへの一般化を評価する。
関連論文リスト
- Faithful Chart Generation for Multimodal Deep Research: Frame-Evidence Co-Adaptation [109.3752882833395]
マルチモーダルディープリサーチのためのエビデンス適応型ビジュアルプランニングフレームワークである Frame-Evidence Co-Adaptation (FECA) を提案する。
FECAは、チャート生成を固定計画検証から適応的エビデンスに基づく視覚的推論にシフトする。
実世界の100件の実験から,FECAはレポートの品質とチャートの有用性を保ちながら,数値忠実度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2026-09-30T07:33:25Z) - TableSeek: Structure-Preserving Agentic Evidence Seeking over Heterogeneous Table Corpora [19.520645305356066]
TableSeekは異種テーブルコーパスのための構造保存エージェント検索フレームワークである。
TableSeekは、完全なテーブルをエビデンス単位として保持しながら、エビデンスアンカーとしてセルとスキーマを使用する。
論文 参考訳(メタデータ) (2026-09-28T02:36:25Z) - PARTAB: Partition-Aware Reasoning with Structured Evidence for Scalable Table Understanding [10.971852280240357]
分割型共振器(分割型共振器)
分割型共振器(分割型共振器)
分割型共振器(分割型共振器)
論文 参考訳(メタデータ) (2026-08-25T05:26:23Z) - ConceptFormer: Learning Adaptive Latent Concepts for Query-Document Alignment in Visual Document Retrieval [62.80735412748694]
ConceptFormerは、ビジュアル文書検索のための潜在概念表現学習フレームワークである。
クエリ関連エビデンスとは、局所化された視覚的エビデンスとセマンティックな関連性を明確に橋渡しする、連続的でクエリ条件付き潜在概念である。
平均的なNDCG@10では、最強のビジュアル検索ベースラインと最強のOCRベースのテキスト検索ベースラインに対して16.7%と22.1%の相対的な改善が達成されている。
論文 参考訳(メタデータ) (2026-08-16T12:07:12Z) - TABVERSE: Benchmarking Cross-Format Table Understanding in LLMs and VLMs [50.96120467118319]
大規模言語モデル(LLM)と視覚言語モデル(VLM)は、テーブル推論タスクでますます評価されている。
制御されたマルチモーダルテーブルベンチマークであるTABVERSEを導入する。
その結果,表の表現選択が表の理解に大きく影響していることが示唆された。
論文 参考訳(メタデータ) (2026-06-08T14:52:46Z) - Bridging Queries and Tables through Entities in Table Retrieval [70.13748256886288]
エンティティは、テキスト検索の文脈でよく研究されているが、テーブル検索におけるその応用についての研究は、顕著に欠如している。
本稿では、実体表現に基づく相互作用パラダイムを設計し、エンティティ強化トレーニングフレームワークを提案する。
提案するフレームワークはプラグアンドプレイでフレキシブルで,既存のテーブルレトリバーのトレーニングプロセスに統合しやすくする。
論文 参考訳(メタデータ) (2025-04-09T03:16:33Z) - SEMv2: Table Separation Line Detection Based on Instance Segmentation [96.36188168694781]
SEMv2(SEM: Split, Embed, Merge)と呼ばれるテーブル構造認識器を提案する。
本稿では,テーブル分離ラインのインスタンスレベルの識別問題に対処し,条件付き畳み込みに基づくテーブル分離ライン検出戦略を提案する。
SEMv2を包括的に評価するために、iFLYTABと呼ばれるテーブル構造認識のためのより困難なデータセットも提示する。
論文 参考訳(メタデータ) (2023-03-08T05:15:01Z) - Table Pre-training: A Survey on Model Architectures, Pretraining
Objectives, and Downstream Tasks [37.35651138851127]
テキストや画像の成功を受けて、テーブル事前学習フレームワークの急激な普及が提案されている。
テーブル事前トレーニングは通常、テーブル-テキスト共同トレーニングの形式を取る。
この調査は、さまざまなモデル設計、事前学習目標、およびテーブル事前学習のための下流タスクの包括的なレビューを提供することを目的としている。
論文 参考訳(メタデータ) (2022-01-24T15:22:24Z) - TGRNet: A Table Graph Reconstruction Network for Table Structure
Recognition [76.06530816349763]
本稿では,表構造認識のためのエンドツーエンドのトレーニング可能な表グラフ再構成ネットワーク(TGRNet)を提案する。
具体的には,異なる細胞の空間的位置と論理的位置を共同で予測するために,細胞検出枝と細胞論理的位置分岐の2つの主枝を有する。
論文 参考訳(メタデータ) (2021-06-20T01:57:05Z) - TABBIE: Pretrained Representations of Tabular Data [22.444607481407633]
表データのみから学習する単純な事前学習目標を考案する。
競合するアプローチとは異なり、我々のモデル(TABBIE)は全てのテーブルサブストラクチャの埋め込みを提供する。
学習したセル,列,行の表現を定性的に分析した結果,複雑なテーブルの意味や数値的傾向が理解できた。
論文 参考訳(メタデータ) (2021-05-06T11:15:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。