論文の概要: Question-Guided Evidence Acquisition for Multimodal Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.19739v1
- Date: Thu, 20 Aug 2026 07:37:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.484699
- Title: Question-Guided Evidence Acquisition for Multimodal Visual Question Answering
- Title(参考訳): マルチモーダル視覚質問応答のための質問ガイドによるエビデンス獲得
- Abstract要約: 私たちは、質問を読み、それがまだ欠けている証拠を見つけ出し、ターゲットツールを呼び出してそれを回復する小さなエージェントを構築します。
DocVQA2026 と Manga109 では、Q-Guide は直接プロンプトと最近のマルチエージェントドキュメントシステムの両方で性能が優れている。
- 参考スコア(独自算出の注目度): 1.4180130585713
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal LLMs can see a document, but they often can't read it reliably. Small text, tables, visual cues, and topological elements still trip them up under direct visual inference, even when the page is already sitting in the model's context. Most document-VQA systems treat perception as fixed: they encode the page once, ask the question, and answer from whatever the model happened to extract in that single fast pass. We think document VQA needs slower, more deliberate perception: rather than answering from one fixed encoding, the model should spend a bit of extra compute at inference time working out what to look at next, and only then answer. We build this into \textbf{Q-Guide}, a small agent that reads a question, works out what evidence it is still missing, and calls targeted tool(s) to recover it---reading text where text is needed, zooming in where detail is needed, or grounding a region where position matters. On DocVQA2026 and Manga109, Q-Guide outperforms both direct prompting and recent multi-agent document systems ($65.0\%$ vs.\ $40.0\%$ on DocVQA2026, $32.4\%$ vs.\ $24.4\%$ on Manga109), and the improvement holds across three Claude backbones (Opus 4.6, Sonnet 4.6, and Opus 4.5). We find that accuracy scales with the perception budget---most of the gain appears within two to three deliberate rounds---and that the gain comes from directing perception to the right place, not from complex control logic: adding planners, routers, or multiple collaborating agents does not help.
- Abstract(参考訳): マルチモーダル LLM は文書を見ることができるが、確実に読めないことが多い。
小さなテキスト、テーブル、ビジュアルキュー、およびトポロジ的要素は、たとえページが既にモデルのコンテキストにあるとしても、直接視覚的推論の下でそれらを移動させる。
ほとんどの文書-VQAシステムは、認識を固定したものとして扱い、ページを一度エンコードし、質問し、その1つの高速パスでモデルが抽出した問題に答える。
ドキュメントのVQAは、より遅く、より意図的な認識が必要です。ある固定されたエンコーディングから答えるのではなく、モデルは、次に何を見るべきかを推測するときに、少し余分な計算に費やし、ただ答えるだけです。
これは、質問を読み、それがまだ欠けている証拠を見つけ出し、ターゲットツールを呼び出して、テキストが必要なテキストを読み取る、詳細が必要な箇所を拡大する、あるいは位置が重要な領域を接地する、という小さなエージェントである。
DocVQA2026 と Manga109 では、Q-Guide は直接プロンプトと最近のマルチエージェントドキュメントシステム(65.0 %$ vs.
DocVQA2026で$40.0\%、$32.4\%。
は、Manga109で$24.4\%、改善は3つのクロードバックボーン(Opus 4.6、Sonnet 4.6、Opus 4.5)にまたがる。
そして、複雑な制御ロジックからではなく、知覚を正しい場所に向けることで得られる。プランナー、ルータ、または複数の協調エージェントを追加することは、役に立たない。
関連論文リスト
- DocAtlas: Long-Document Understanding as Mutable-State Interaction [67.90400271544678]
本稿では,長期文書理解を可変状態情報探索プロセスとして扱うDocAtlasを提案する。
ドキュメントと質問が与えられた後、DocAtlasは検索、読み取り、メモ取り、レビューツールを公開し、階層的なツリーとノートストアを維持し、エージェントが証拠を記録するように更新する。
GPT-5.4では、DocAtlasはMMLongBench-Docで71.4%に達し、65.8%という人間の専門的基準を超えた。
論文 参考訳(メタデータ) (2026-07-21T09:45:34Z) - MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA [14.865891513918278]
長い文書のマルチモーダルな質問応答には、長いPDFでスパースエビデンスを見つけるシステムが必要である。
本稿では,長期文書マルチモーダルQAのための多言語適応グラフエビデンスフレームワークであるMAGE-RAGを提案する。
論文 参考訳(メタデータ) (2026-06-14T16:34:15Z) - Constrained Dominant Sets for Multimodal Document Question Answering [6.071121358322323]
長いマルチモーダルな文書質問応答は、取得された量よりも、証拠が読み手に届く程度に制限される。
この研究は、クエリ拡張親和性グラフ上の制約付き支配セットとしてエビデンスを選択するレトリバーを導入する。
論文 参考訳(メタデータ) (2026-06-05T13:24:46Z) - Doc-V*:Coarse-to-Fine Interactive Visual Reasoning for Multi-Page Document VQA [71.42483000929614]
複数ページのドキュメント 視覚的質問回答は、長い、視覚的に密集したドキュメントにおける意味論、レイアウト、および視覚的要素の推論を必要とする。
我々は,多ページDocVQAをシーケンシャルエビデンスアグリゲーションとしてキャストするtextbfOCRフリーエージェントフレームワークであるDoc-$V*$を提案する。
論文 参考訳(メタデータ) (2026-04-15T11:12:27Z) - PAR$^2$-RAG: Planned Active Retrieval and Reasoning for Multi-Hop Question Answering [57.89576196160413]
大規模言語モデル (LLM) はマルチホップ質問応答 (MHQA) において脆弱のままである。
textbfPlanned Active Retrieval and Reasoning RAG (PAR$2-RAG)を提案する。
論文 参考訳(メタデータ) (2026-03-30T23:52:54Z) - $G^2$-Reader: Dual Evolving Graphs for Multimodal Document QA [53.491241153213565]
G2$-Readerはマルチモーダルな質問応答のためのデュアルグラフシステムである。
Qwen3-VL-32B-Instructによる$G2$-Readerの平均精度は66.21%に達し、強力なベースラインとスタンドアローンのGPT-5(53.08%)を上回った。
5つのマルチモーダルドメインにわたるVisDoMBenchでは、Qwen3-VL-32B-Instructを使った$G2$-Readerが平均精度66.21%に達し、強力なベースラインとスタンドアロンのGPT-5(53.08%)を上回っている。
論文 参考訳(メタデータ) (2026-01-29T17:52:54Z) - Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。
既存の属性に対するアプローチはRAG設定でのみ評価されている。
これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。
そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
論文 参考訳(メタデータ) (2024-07-10T16:16:02Z) - MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations [105.10376440302076]
MMLongBench-Doc は 1,062 のエキスパート注釈付き質問を含む長文マルチモーダルベンチマークである。
130の長いPDFフォーマットの文書の上に構築されており、平均49.4ページと20,971のテキストトークンがある。
14個のLVLMの実験により、長いコンテキストのDUが現在のモデルに大きく挑戦することを示した。
論文 参考訳(メタデータ) (2024-07-01T17:59:26Z) - Visconde: Multi-document QA with GPT-3 and Neural Reranking [4.9069311006119865]
本稿では,複数の文書にまたがる証拠を裏付ける質問に回答できる質問応答システムを提案する。
Viscondeと呼ばれるこのシステムは、3ステップのパイプラインを使ってタスクを実行する。
論文 参考訳(メタデータ) (2022-12-19T17:39:07Z) - End-to-End Multihop Retrieval for Compositional Question Answering over
Long Documents [93.55268936974971]
本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。
各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。
文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2021-06-01T03:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。