論文の概要: Uncertainty Quantification for Multimodal Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2605.29956v1
• Date: Thu, 28 May 2026 14:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 00:00:30.955025
• Title: Uncertainty Quantification for Multimodal Retrieval Augmented Generation
• Title（参考訳）: マルチモーダル検索Augmented Generationにおける不確かさの定量化
• Authors: Simon Binz, Heydar Soudani, Faegheh Hasibi,
• Abstract要約: マルチモーダルおよび検索対応確率信号を用いたモデリングの不確実性は、マルチモーダルRAGシステムにおける推定を改善することを示す。 提案したLeMUQは平均3.8%のAUROC値を増加させる。 本研究は,マルチモーダルな不確実性をモデル化することの重要性を強調し,より信頼性が高く安全なマルチモーダルRAGシステムへのステップを提供する。
• 参考スコア（独自算出の注目度）: 14.789439938448034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval Augmented Generation (RAG) improves the question answering capabilities of Large Language Models (LLMs) by incorporating external knowledge and has recently been extended to multimodal settings through Vision-Language Models (VLMs) that integrate visual and textual information. Despite these advances, generated answers can still be incorrect or misleading. Uncertainty Quantification (UQ) methods aim to estimate the reliability of model outputs, but most existing approaches are designed for text-only models and perform poorly in multimodal RAG scenarios. A key challenge is capturing uncertainty arising from multiple stages of the pipeline, including retrieval, visual understanding, and generation. In this work, we show that modeling uncertainty using multimodal and retrieval-aware probability signals improves estimation in multimodal RAG systems. We introduce LeMUQ, a Learnable Multimodal UQ method that analyzes token probabilities under input modifications, such as removing modalities or retrieved context. By encoding these signals as probability tokens and processing them with a finetuned model, our approach captures interactions between modalities and retrieval. Experiments across datasets, retrievers, and VLMs show consistent improvements over baseline and finetuned UQ methods. Our proposed LeMUQ increases the AUROC metric by 3.8% on average. Additionally, our method shows strong generalization performance across different retrieval setups and datasets with mixed results when transferring across different VLMs. Our findings highlight the importance of modeling multimodal uncertainty and provide a step toward more reliable and safer multimodal RAG systems. Code is available on GitHub.
• Abstract（参考訳）: Retrieval Augmented Generation (RAG)は、外的知識を取り入れたLarge Language Models (LLM)の質問応答能力を改善し、視覚情報とテキスト情報を統合するVision-Language Models (VLM)を通じてマルチモーダル設定に拡張した。 これらの進歩にもかかわらず、生成された答えは間違っているか、誤解を招く可能性がある。 不確実性定量化(UQ)手法はモデル出力の信頼性を推定することを目的としているが、既存のほとんどのアプローチはテキストのみのモデルのために設計されており、マルチモーダルRAGシナリオでは性能が良くない。 重要な課題は、検索、視覚的理解、生成を含む、パイプラインの複数のステージから生じる不確実性を取得することだ。 本研究では,マルチモーダルおよび検索対応確率信号を用いたモデリングの不確実性により,マルチモーダルRAGシステムにおける推定精度が向上することを示す。 本稿では,Learningable Multimodal UQ法を用いて,モダリティの除去や検索コンテキストの抽出など,入力修正時のトークン確率を解析する手法を提案する。 これらの信号を確率トークンとして符号化し、微調整モデルで処理することにより、モーダル性と検索の間の相互作用を捉える。 データセット、レトリバー、VLMにわたる実験では、ベースラインと微調整されたUQメソッドよりも一貫した改善が見られた。 提案したLeMUQは平均3.8%のAUROC値を増加させる。 さらに,提案手法は,異なるVLM間での転送において,異なる検索設定やデータセット間で強い一般化性能を示す。 本研究は,マルチモーダルな不確実性をモデル化することの重要性を強調し,より信頼性が高く安全なマルチモーダルRAGシステムへのステップを提供する。 コードはGitHubで入手できる。

関連論文リスト

• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
  本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。 このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。 MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
  論文  参考訳（メタデータ） (2025-02-24T16:25:25Z)
• Ask in Any Modality: A Comprehensive Survey on Multimodal Retrieval-Augmented Generation [2.549112678136113]
  Retrieval-Augmented Generation (RAG)は、外部の動的情報を統合することで問題を軽減し、現実のグラウンドを改善する。 クロスモーダルアライメントと推論は、単調なRAG以上の難題をもたらす。 この調査は、より有能で信頼性の高いAIシステムを開発するための基盤となる。
  論文  参考訳（メタデータ） (2025-02-12T22:33:41Z)
• Uncertainty Quantification for LLMs through Minimum Bayes Risk: Bridging Confidence and Consistency [66.96286531087549]
  大規模言語モデル(LLM)のための不確実性定量化(UQ)手法は、様々なアプローチを含んでいる。 本稿では,モデル信頼度と出力整合性を統合する新しい手法を提案する。 我々は,質問応答,抽象要約,機械翻訳など,様々なタスクに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2025-02-07T14:30:12Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• CUE-M: Contextual Understanding and Enhanced Search with Multimodal Large Language Model [9.224965304457708]
  本稿では,新しいマルチモーダル検索フレームワークであるMLLM (CUE-M) について述べる。 画像コンテキストの強化、インテントの洗練、コンテキストクエリ生成、外部APIの統合、関連ベースのフィルタリングなどが含まれている。 知識に基づくVQAと安全性に関する実単語データセットと公開ベンチマークの実験は、CUE-Mがベースラインを上回り、新しい最先端の結果を確立することを示した。
  論文  参考訳（メタデータ） (2024-11-19T07:16:48Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。