論文の概要: Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG
- arxiv url: http://arxiv.org/abs/2607.05438v1
- Date: Fri, 03 Jul 2026 15:28:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.259625
- Title: Modality Relevance is not Modality Utility: Post-hoc Selective Modality Escalation for Cost-Aware Multimodal RAG
- Title（参考訳）: モダリティ関連性はモダリティ・ユーティリティではない:コスト対応マルチモーダルRAGのためのポストホック選択モダリティ・エスカレーション
- Abstract要約: 質問に対するモダリティの関連性は、そのモダリティが正しく答えるために実際に必要であるかどうかの弱い予測因子であることを示す。
テキストとテーブルから安価に回答し、検証を行い、そこでのみVLMエビデンスを支払って、textbfpost-hoc選択モーダリティエスカレーションを提案する。
- 参考スコア（独自算出の注目度）: 7.082282444371973
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal retrieval-augmented generation (RAG) grounds a generator in evidence drawn from heterogeneous modalities -- text, tables, and images. The dominant deployment choice is binary and made before the model has tried to answer: either run a cheap text(+table) pipeline, or pay for an expensive vision-language model (VLM) over every image. Recent adaptive systems improve on this by selecting the modality or fidelity pre-retrieval, from a question-conditioned predictor of which modality will be needed. We show that this is the wrong decision point. Through an oracle headroom analysis on MultiModalQA, we find that the relevance of a modality to a question is a weak predictor of whether that modality is actually needed to answer correctly: a large fraction of questions whose gold support includes an image are nonetheless answerable from text and tables alone, and a pre-retrieval router that escalates on apparent visual relevance over-escalates substantially relative to an oracle. We propose \textbf{post-hoc selective modality escalation}: answer cheaply from text and tables, run a verifier on the (query, draft answer, evidence) tuple that localizes which modality is missing, and pay for VLM evidence only there. A calibrated value-of-escalation router then decides whether the expected accuracy gain justifies the visual cost. On MultiModalQA, our router recovers the accuracy of an always-on VLM pipeline while issuing far fewer visual calls, and closes most of the gap to the oracle escalation rate. The result extends a routing-signal hierarchy established for retrieval depth and reasoning hops to a third axis -- modality -- under a single cost-aware selective-escalation view.
- Abstract（参考訳）: マルチモーダル検索強化世代(RAG)は、テキスト、テーブル、画像といった異質なモダリティから引き出された証拠にジェネレータを接地する。
安価なテキスト(+table)パイプラインを実行するか、すべてのイメージに対して高価なビジョン言語モデル(VLM)を支払うかだ。
近年の適応システムは、モーダリティが必要とされる質問条件付き予測器から、モーダリティまたはフィデリティ事前検索を選択することにより、この問題を改善する。
これが間違った決定点であることを示す。
本研究は,MultiModalQAにおけるオラクルのヘッドルーム分析を通じて,モダリティの関連性は,そのモダリティが実際に正しく答える必要があるかどうかの弱い予測因子であることが確認された。
テキストとテーブルから安価に回答し、どのモダリティが欠けているかをローカライズする(クエリ、ドラフト、エビデンス)タプル上で検証を実行する。
キャリブレーションされた値・オブ・エスカレーションルータは、期待される精度のゲインが視覚的コストを正当化するか否かを判定する。
マルチモーダルQAでは、ルータが常時オンのVLMパイプラインの精度を回復すると同時に、はるかに少ないビジュアルコールを発行し、オーラクルエスカレーションレートとのギャップの大部分を埋める。
その結果は、検索深度とホップの推論のために確立されたルーティング信号階層を、単一コスト対応の選択エスカレーションビューの下で第3軸(モダリティ)に拡張する。
関連論文リスト
- A Generative AI Integrated Multimodal Framework for Low-Latency Multi-Camera Person Re-Identification [0.18427704077999105]
我々は、欠落したキューと低レイテンシのデプロイメント下での堅牢性を明確に設計した、生成AI統合マルチモーダルReIDフレームワークを提案する。
我々は, Market-1501 および DukeMTMC-reID ベンチマークにおいて,mAP と Rank-1 の精度を用いた人物識別性能について報告する。
論文 参考訳（メタデータ） (2026-09-13T10:40:38Z) - Switch-Reasoner: Learn When to Think in Multitask Mixtures via Reinforcement Learning [72.45536737928015]
MLLMの推論モードを適応的に選択するフレームワークであるSwitch-Reasonerを提案する。
仮想ツールの呼び出しとして思考を扱い、モデルが直接答えるか、答える前に明示的な推論を呼び出すことができる。
11のマルチモーダルタスクの実験は、Switch-Reasonerが強い性能を維持しながら不要な推論を減らすことを示す。
論文 参考訳（メタデータ） (2026-07-09T15:04:05Z) - Constrained Dominant Sets for Multimodal Document Question Answering [6.071121358322323]
長いマルチモーダルな文書質問応答は、取得された量よりも、証拠が読み手に届く程度に制限される。
この研究は、クエリ拡張親和性グラフ上の制約付き支配セットとしてエビデンスを選択するレトリバーを導入する。
論文 参考訳（メタデータ） (2026-06-05T13:24:46Z) - Uncertainty Quantification for Multimodal Retrieval Augmented Generation [14.789439938448034]
マルチモーダルおよび検索対応確率信号を用いたモデリングの不確実性は、マルチモーダルRAGシステムにおける推定を改善することを示す。
提案したLeMUQは平均3.8%のAUROC値を増加させる。
本研究は,マルチモーダルな不確実性をモデル化することの重要性を強調し,より信頼性が高く安全なマルチモーダルRAGシステムへのステップを提供する。
論文 参考訳（メタデータ） (2026-05-28T14:00:32Z) - LatentRouter: Can We Choose the Right Multimodal Model Before Seeing Its Answer? [69.71754384259167]
マルチモーダル大言語モデル(MLLM)は、OCR、チャート理解、空間的推論、視覚的質問応答、コスト、レイテンシにまたがるヘテロジニアスな強度を持つ。
本稿では,MLLMルーティングを実効的マルチモーダルユーティリティ予測として定式化するルータであるLatentを提案する。
MMR-BenchとVL-Benchの実験では、Latentは固定モデル、特徴レベル、学習ルータベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-05-11T22:42:12Z) - Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection [57.3886742625188]
Pre-Routeは、応答前に構造化推論を実行するプロアクティブなルーティングフレームワークである。
本研究は, (i) LLMは, ガイドラインを確実に適用可能な遅延ルーティング能力を有すること, (ii) 線形プローブにより, 表現空間における最適ルーティングの分離性を高めること, (iii) 蒸留により, この推論構造を, 軽量展開のためのより小さなモデルに伝達すること,の3つの重要な知見を示す。
論文 参考訳（メタデータ） (2026-05-11T09:10:55Z) - DeltaRubric: Generative Multimodal Reward Modeling via Joint Planning and Verification [38.65432183778467]
一つのMLLM内でのプラン・アンド・エグゼキュートプロセスとしてマルチモーダルな選好評価を再構成するアプローチであるDeltaRubricを導入する。
DeltaRubricは2つのステップで動作する。まずは$textitDisagreement Planner$として動作し、中立でインスタンス固有のチェックリストを生成する。
我々はDeltaRubricをマルチロール強化学習問題として定式化し、計画と検証機能を共同で最適化する。
論文 参考訳（メタデータ） (2026-05-10T02:32:19Z) - Pixel-Grounded Retrieval for Knowledgeable Large Multimodal Models [58.46663983451155]
PixSearchは、地域レベルの認識と検索強化推論を統合する、エンドツーエンドのLMM(Large Multimodal Model)である。
エンコーディング中、PixSearchは検索をトリガーする検索>トークンを出力し、クエリのモダリティ(テキスト、画像、リージョン)を選択し、ビジュアルクエリとして直接機能するピクセルレベルのマスクを生成する。
エゴセントリックでエンティティ中心のVQAベンチマークでは、PixSearchは事実整合性と一般化を大幅に改善する。
論文 参考訳（メタデータ） (2026-01-27T00:46:08Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳（メタデータ） (2025-11-27T19:01:02Z) - ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。
われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
論文 参考訳（メタデータ） (2020-01-22T14:39:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。