論文の概要: Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
- arxiv url: http://arxiv.org/abs/2607.24651v1
- Date: Mon, 27 Jul 2026 16:49:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.515857
- Title: Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
- Title（参考訳）: コーディネートや地域ラベルを含まない視覚文書理解におけるエビデンス属性
- Abstract要約: 視覚言語モデルでは,解答が正しい場合でも,適切な領域を識別できない場合が多い。
本研究は,モデルが座標を通して表現できることによって,この故障が部分的に制限されているかどうかを考察する。
- 参考スコア（独自算出の注目度）: 8.720698253117837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable visual document understanding requires a model to attribute each answer to the evidence regions that support it. Recent benchmarks and systems express this step through a coordinate interface: the model outputs the coordinates of bounding boxes that mark the evidence regions in the document. Under this interface, vision-language models often fail to identify the right regions even when the answer is correct, a failure known as Attribution Hallucination. We present a study that investigates whether this failure is partially limited by what the model can express through coordinates. On a verified bilingual CiteVQA subset, we compare the coordinate interface with a language interface in which the model outputs only text, quoting its evidence verbatim, and a multimodal retriever returns the location of each quote as a page region proposed by a layout parser (tables and figures are quoted through their captions or notes); the comparison is repeated over six open vision-language models. Compared with the coordinate interface, evidence recall rises from at most 8 points to between 26 and 47 and the hallucination rate roughly halves, with little change in answer quality. Building on this comparison, we use the same quote-and-retrieve pipeline as a training scaffold: because region-level evidence labels are expensive to collect for long documents, we introduce a GRPO recipe whose reward is a judge's reading of the gold answer and crops of the retrieved regions, training the model to quote better evidence without any region labels and raising an 8B backbone's strict attributed accuracy from 22.4 to 33.8. These findings indicate a practical path to improve attribution"without a coordinate interface and without costly region-level supervision.
- Abstract（参考訳）: 信頼性の高いビジュアル文書理解には、各回答をそれをサポートするエビデンス領域に属性付けるモデルが必要である。
最近のベンチマークとシステムは、このステップをコーディネートインターフェースを通して表現している: モデルは文書のエビデンス領域を示す境界ボックスの座標を出力する。
このインタフェースの下では、視覚言語モデルは答えが正しい場合でも正しい領域を特定することができず、Attribution Hallucinationと呼ばれる失敗がある。
本研究は,モデルが座標を通して表現できることによって,この故障が部分的に制限されているかどうかを考察する。
検証されたバイリンガルCiteVQAサブセット上で、座標インターフェースと、モデルがテキストのみを出力する言語インターフェースを比較し、そのエビデンスを冗長に引用し、マルチモーダルレトリバーが、レイアウトパーサによって提案されたページ領域として各引用の場所を返却する(表と数字はキャプションまたはノートを通じて引用される)。
座標インタフェースと比較して、証拠リコールは少なくとも8点から26点から47点まで上昇し、幻覚率はほぼ半減し、答えの品質はほとんど変化しない。
この比較に基づいて、我々は、トレーニングの足場として、同じ引用と検索のパイプラインを使用する: 地域レベルのエビデンスラベルは、長い文書の収集に費用がかかるため、得られた地域の金の答えと作物を裁判官が読み取るようなGRPOレシピを導入し、モデルを訓練して、地域ラベルなしでより良いエビデンスを引用し、8Bバックボーンの厳密な属性の精度を22.4から33.8に引き上げる。
これらの結果から,コーディネートインターフェースを使わずに,地域レベルの監督を伴わずに,帰属性を改善するための実践的な方法が示唆された。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。
6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。
本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
論文 参考訳（メタデータ） (2026-08-05T11:46:15Z) - Thinking with Anchors: Grounded and Efficient Document Reasoning [87.07530736788898]
ADOPD 2026はADOPDの拡張である。
ADOPD 2026はページ分解を空間的に基底化された文書理解に変換する。
ADOPD 2026は、ページ分解を検証可能なビジュアル・アンカー推論に接続することで、タスク・フレームワークを提供する。
論文 参考訳（メタデータ） (2026-08-05T04:09:05Z) - Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。
3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
論文 参考訳（メタデータ） (2026-07-30T02:34:23Z) - Lightweight Person-Place Relation Extraction from Historical Newspapers with Dependency Graphs and Proximity Features [0.0]
本研究では,関係分類段階において,事前学習された言語モデルなしで,軽量で解釈可能なシステムがどこまで進むことができるかを検討する。
提案手法は,依存関係解析から文書レベルグラフを構築し,各エンティティペアの近接的特徴と部分的特徴を抽出し,それらをScikit-Lernアンサンブルあるいはコンパクトグラフアテンションネットワークで分類する。
公式評価 (テストA, 新聞テストセット) では, ベストランが0.5142のマクロリコールに達し, 17チーム中, 3位にランクインした。
論文 参考訳（メタデータ） (2026-07-22T03:35:56Z) - Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue [8.925029287648345]
共同対話では、共有認識は共有解釈を保証しない。相互理解は相互理解を通じて確立されなければならない。
対話コンテキストと地図情報アクセスを系統的に制御し,視覚言語モデル(VLM)を評価する。
以上の結果から,実際の地図画像の提供により全体の性能は向上するが,モデルが過度に予測されたアライメントにシフトすることが示唆された。
論文 参考訳（メタデータ） (2026-06-30T14:22:48Z) - DocScope: Benchmarking Verifiable Reasoning for Trustworthy Long-Document Understanding [29.270128057512284]
本稿では,長期文書QAを構造化推論軌道予測問題として定式化するベンチマークであるDocScopeを紹介する。
軌道の各レベルを独立に監査する4段階評価プロトコルを設計する。
6つのプロプライエタリなモデル、12のオープンウェイトモデル、いくつかのドメイン固有のシステムをベンチマークします。
論文 参考訳（メタデータ） (2026-05-09T11:12:59Z) - DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。
私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
論文 参考訳（メタデータ） (2026-04-29T02:34:51Z) - VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing [59.73939718087177]
シングルエンコーダの視覚言語モデルは、統合ベクトル空間にインターリーブされた入力を埋め込むために対照的に訓練された。
VLM2GeoVecは、領域レベルの空間推論とスケーラブルな検索を統合し、リモートセンシングにおける凝集性多モード解析を可能にする。
論文 参考訳（メタデータ） (2025-12-12T11:39:35Z) - RegionRAG: Region-level Retrieval-Augumented Generation for Visually-Rich Documents [40.107303323097646]
Modelnameは、検索パラダイムをドキュメントレベルからリージョンレベルにシフトする、新しいフレームワークです。
6つのベンチマークの実験は、RereaRAGが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2025-10-31T08:00:32Z) - CLIM: Contrastive Language-Image Mosaic for Region Representation [58.05870131126816]
Contrastive Language-Image Mosaic (CLIM) は、領域とテキストの表現を整合させる新しいアプローチである。
CLIMは、異なるオープン語彙オブジェクト検出方法を一貫して改善する。
視覚言語モデルの領域表現を効果的に強化することができる。
論文 参考訳（メタデータ） (2023-12-18T17:39:47Z) - GPT4RoI: Instruction Tuning Large Language Model on Region-of-Interest [51.68383826362895]
本稿では,空間的命令チューニングを提案し,その命令における関心領域(RoI)を参照することを提案する。
我々のモデルであるGPT4RoIは、7つのリージョンテキストペアデータセットに基づいて訓練されており、前例のない対話的かつ対話的な体験をもたらす。
論文 参考訳（メタデータ） (2023-07-07T13:43:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。