論文の概要: HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
- arxiv url: http://arxiv.org/abs/2608.29088v1
- Date: Sat, 29 Aug 2026 06:38:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.834471
- Title: HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
- Title(参考訳): HANIA: 質問応答のためのプランナーガイド型マルチモーダルグラフエビデンス選択
- Abstract要約: マルチモーダルな質問応答は、ノイズ、不完全、そして弱い根拠に敏感なままである。
提案するHANIAは,エビデンスに基づく質問応答のためのマルチモーダルグラフフレームワークである。
その結果、構造化されたエビデンス計画とコンパクトなグラフ誘導検索は、競合するマルチモーダル質問応答を支援することができることがわかった。
- 参考スコア(独自算出の注目度): 3.8576003370668808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal question answering remains sensitive to noisy, incomplete, and weakly grounded evidence. Long unstructured contexts can introduce redundancy and encourage unsupported generation, while flat retrieval may overlook relations needed for multi-step reasoning. We present HANIA, a planner-guided multimodal graph framework for evidence-grounded question answering. HANIA processes the supplied image and text using a frozen vision-language model to extract concise question-relevant visual evidence with explicit abstention. It then constructs an input-grounded multimodal graph and applies a two-group finite-state planner to coordinate descriptive and relational evidence. Coverage-aware pruning retains a compact evidence set based on relevance, graph confidence, concept coverage, and modality diversity. The selected passages, visual statements, and graph triples are provided to a frozen instruction-tuned decoder. We evaluate HANIA on ScienceQA using answer accuracy, evidence-filtering quality, evidence-budget sensitivity, and efficiency. The results show that structured evidence planning and compact graph-guided retrieval can support competitive multimodal question answering without target-dataset fine-tuning or iterative retrieval. The code is available at https://github.com/Zafar-southeast/HANIA.
- Abstract(参考訳): マルチモーダルな質問応答は、ノイズ、不完全、そして弱い根拠に敏感なままである。
長い構造化されていないコンテキストは冗長性を導入し、サポートしない生成を奨励し、フラットな検索は多段階の推論に必要な関係を見落としてしまう可能性がある。
提案するHANIAは,エビデンスに基づく質問応答のためのマルチモーダルグラフフレームワークである。
HANIAは、凍結した視覚言語モデルを用いて供給された画像とテキストを処理し、簡潔な質問関連視覚的証拠を明確な棄却で抽出する。
その後、入力基底マルチモーダルグラフを構築し、2群有限状態プランナーを適用して記述的および関係的証拠をコーディネートする。
カバレッジ・アウェア・プルーニングは、関連性、グラフの信頼性、概念のカバレッジ、モダリティの多様性に基づくコンパクトなエビデンスを維持している。
凍結した命令調整デコーダには、選択されたパス、ビジュアルステートメント、グラフトリプルが提供される。
我々は,回答精度,エビデンスフィルタ品質,エビデンス予算感度,効率を用いて,ScienceQA上のHANIAを評価する。
その結果、構造化されたエビデンス計画とコンパクトなグラフ誘導検索は、ターゲット・データセットの微調整や反復的な検索を行わずに、競合するマルチモーダルな質問応答を支援することができた。
コードはhttps://github.com/Zafar-east/HANIAで公開されている。
関連論文リスト
- Navigating Sparse Evidence: Agentic Visual RAG via Explicit Context Selection and Consolidation [50.92223196290564]
明示的な証拠選択と統合のための統一エージェントループを提案する。
探索中、SCoREはクエリ関連観測とソースポインタのみを保守されたテキスト台帳に保持する。
終了時には、参照された元のイメージを再ロードし、答えの視覚的証拠を統合し、論理的なシーケンスにアレンジする。
論文 参考訳(メタデータ) (2026-09-14T16:11:35Z) - GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG [4.035350563640088]
信頼性校正型マルチモーダル知識グラフRAGフレームワークであるGraphLoomを,コンパクトかつ忠実なエビデンスルーティングのために提案する。
取得したすべての証拠をジェネレータに注入する代わりに、GraphLoomは信頼性に配慮したサブグラフ検索を実行する。
我々は、強力なマルチモーダルRAG、グラフ検索、オープンソースのビジョン言語ベースラインに対して、回答の品質と証拠の忠実さが一貫した向上を示す。
論文 参考訳(メタデータ) (2026-08-15T06:02:23Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳(メタデータ) (2026-07-27T23:50:46Z) - Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation [74.0621258662676]
レポート生成のためのマルチエージェントハーネスであるPtahを提案する。
Ptahは計画、研究、執筆段階を通じて、ユーザクエリからレンダリングされたWebレポートまでのライフサイクルを編成する。
検証エージェントがハーネスの受け入れ機能として機能し、ワークフロー全体を通して事実的接地、引用の忠実性、相互の整合性を強制する。
論文 参考訳(メタデータ) (2026-05-28T12:40:34Z) - ColGraphRAG: Late-Interaction Evidence Retrieval for Multimodal GraphRAG [0.0]
グラフリンク画像ノード上での視覚的候補ランク演算子を、ColBERT/ColPali系における遅延相互作用MaxSimスタイルのマルチベクトルスコアに置き換えることを評価する。
MultimodalQAでは、この変更は、グラフリンクされた画像候補と下流QAゲインの検索ステージ点推定の改善に関連している。
論文 参考訳(メタデータ) (2026-05-09T08:30:18Z) - DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA [56.73431446011309]
ダイアグラム質問応答(ダイアグラムQA)は、各問合せ対を答えを導き出すために必要なすべての視覚領域にリンクする推論レベルの属性を必要とする。
私たちは、データセット固有の構造からインターフェースロジックを分離する軽量でスキーマ駆動のレビューフレームワークであるDIAGRAMSを紹介します。
論文 参考訳(メタデータ) (2026-04-29T02:34:51Z) - DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams [54.39165467997251]
ダイアグラムにおけるエビデンスグラウンドの視覚的推論を評価するためのベンチマークであるDRAGONを紹介する。
ダイアグラム、質問、そして正しい答えが与えられた場合、モデルは答えを正当化するために必要な視覚的要素に対応する境界ボックスを予測する必要がある。
DRAGONデータセットには、6つの図QAデータセットから収集された11,664の注釈付き質問インスタンスが含まれている。
論文 参考訳(メタデータ) (2026-04-28T05:24:05Z) - Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models [77.3748853516374]
視覚言語モデルのための学習不要なモデル固有のグラウンドリング手法を提案する。
モデルの次トーケン分布のエントロピーを計算し、それを視覚トークン埋め込みにバックプロパタイズしてエントロピー勾配のレバレンスマップを得る。
次に、複数のコヒーレント領域を抽出・ランク付けし、マルチエビデンスクエリをサポートし、空間エントロピー停止規則付き反復的なズーム・アンド・リグラウンド手順を導入する。
論文 参考訳(メタデータ) (2026-04-09T16:51:42Z) - N2N-GQA: Noise-to-Narrative for Graph-Based Table-Text Question Answering Using LLMs [0.0]
ハイブリッドテーブルテキストデータに対するマルチホップ質問応答には,大規模コーパスからの複数のエビデンス部分の検索と推論が必要である。
Standard Retrieval-Augmented Generation (RAG) パイプラインは文書をフラットなランクリストとして処理し、検索ノイズがあいまいな推論連鎖を引き起こす。
N2N-GQAは、ノイズの多い検索出力から動的エビデンスグラフを構成する、オープンドメインハイブリッドテーブルテキストQAのための最初のゼロショットフレームワークである。
論文 参考訳(メタデータ) (2026-01-10T15:55:15Z) - UNK-VQA: A Dataset and a Probe into the Abstention Ability of Multi-modal Large Models [55.22048505787125]
本稿ではUNK-VQAと呼ばれる包括的データセットを提案する。
まず、画像または疑問について意図的に摂動することで、既存のデータを拡大する。
そこで我々は,新たなマルチモーダル大規模モデルのゼロショット性能と少数ショット性能を広範囲に評価した。
論文 参考訳(メタデータ) (2023-10-17T02:38:09Z) - Dynamic Semantic Graph Construction and Reasoning for Explainable
Multi-hop Science Question Answering [50.546622625151926]
マルチホップQAのための説明可能性を得ながら,より有効な事実を活用できる新しいフレームワークを提案する。
a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(a) tt AMR-SG,(c) グラフ畳み込みネットワーク(GCN)を利用した事実レベルの関係モデリング,(c) 推論過程の導出を行う。
論文 参考訳(メタデータ) (2021-05-25T09:14:55Z) - Mucko: Multi-Layer Cross-Modal Knowledge Reasoning for Fact-based Visual
Question Answering [26.21870452615222]
FVQAは、画像に関する質問に答えるために、可視コンテンツ以外の外部知識を必要とする。
問題指向で情報補完的な証拠をどうやって捉えるかは、この問題を解決する上で重要な課題である。
与えられた問題に最も関係のある異なる層から証拠を捉えるために,モダリティを考慮した異種グラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2020-06-16T11:03:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。