論文の概要: Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference

• arxiv url: http://arxiv.org/abs/2606.15782v1
• Date: Sun, 14 Jun 2026 12:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.847999
• Title: Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference
• Title（参考訳）: 検索型信頼性認識によるマルチモーダルシステムにおける視覚幻覚の緩和
• Abstract要約: 本研究は,信頼に値するマルチモーダル視覚理解のための信頼性を考慮した検索フレームワークを提案する。 提案フレームワークは,事前学習された視覚埋め込みと,正規化された特徴表現に対する最寄りの検索を用いて,外部の視覚的エビデンスデータベースを構築する。 ImageNet-100の実験では、提案された信頼性を意識したフレームワークが、89.04%のカバレッジで85.84%から88.88%に改善した。
• 参考スコア（独自算出の注目度）: 1.064167691614925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal large language models (MLLMs) have demonstrated strong capabilities in vision-language understanding and natural-language response generation. However, these systems can still produce overconfident predictions and hallucination-like outputs, particularly when the visual evidence is weak, ambiguous, or semantically inconsistent. Most existing approaches focus on improving multimodal representation alignment or retrieval-augmented generation, while providing limited mechanisms to quantify instance-level prediction reliability or identify incorrect visual outputs. This work proposes a retrieval-augmented reliability-aware inference framework for trustworthy multimodal visual understanding. The proposed framework constructs an external visual evidence database using pretrained visual embeddings and nearest-neighbor retrieval over normalized feature representations. Retrieved evidence is used to estimate prediction trustworthiness through multiple reliability indicators, including similarity strength, class-support agreement, evidence margin, entropy-based uncertainty, and an aggregate reliability score. Based on these signals, a decision gate determines whether the system should accept the prediction, answer with caution, or abstain/fallback when evidence is insufficient. A multimodal response-generation layer then produces a final user-facing response conditioned on the reliability decision. Experiments on ImageNet-100 demonstrate that the proposed reliability-aware framework improves accepted prediction accuracy from 85.84\% to 88.88\% at 89.04\% coverage. The hallucination-like accepted wrong-answer rate is reduced from 14.16\% to 11.12\%. These results show that integrating retrieval evidence, reliability estimation, and selective decision gating can improve calibration and reduce overconfident visual errors without retraining large multimodal models.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、視覚言語理解と自然言語応答生成において強力な能力を示している。 しかし、これらのシステムは、特に視覚的証拠が弱く、曖昧で、意味的に矛盾している場合に、過信な予測や幻覚のような出力を生成することができる。 既存のアプローチのほとんどは、マルチモーダルな表現アライメントや検索拡張生成の改善に重点を置いており、インスタンスレベルの予測信頼性を定量化したり、誤った視覚出力を識別するための制限されたメカニズムを提供している。 本研究は,信頼に値するマルチモーダル視覚理解のための信頼性を考慮した検索フレームワークを提案する。 提案フレームワークは,事前学習された視覚埋め込みと,正規化された特徴表現に対する最寄りの検索を用いて,外部の視覚的エビデンスデータベースを構築する。 検索された証拠は、類似性強度、クラスサポート合意、エビデンスマージン、エントロピーに基づく不確実性、総合信頼性スコアなど、複数の信頼性指標を通じて予測信頼性を推定するために使用される。 これらの信号に基づいて、決定ゲートは、証拠が不十分な場合には、システムが予測を受け入れ、注意を払って回答するか、あるいは棄却/フォールバックするかを決定する。 マルチモーダル応答生成層は、信頼性判定に基づいて最終ユーザ対応応答を生成する。 ImageNet-100の実験では、提案された信頼性を意識したフレームワークが、89.04のカバレッジで85.84\%から88.88\%に改善したことが示されている。 幻覚のような誤答え率は14.16\%から11.12\%に減少する。 これらの結果から,大規模なマルチモーダルモデルを再訓練することなく,検索証拠の統合,信頼性評価,選択的決定ゲーティングがキャリブレーションを向上し,過度な視覚的誤りを低減できることが示唆された。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
  マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。 サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。 マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
  論文  参考訳（メタデータ） (2026-08-04T11:14:13Z)
• Uncertainty-Aware Deepfake Detection via Multi-View Structural Learning [6.951909224842812]
  セキュリティクリティカルなバイオメトリックおよび法医学的応用は、特に分布シフトの下で、正確な予測と信頼性の高い信頼推定を必要とする。 相補的な証拠源間の不整合による操作を識別する不確実性を考慮したディープフェイク検出フレームワークを提案する。 証拠ストリーム間の矛盾を予測的不確実性にリンクする不一致不確実性モデリング機構であるIBDC(Inter-Branch Disagreement)を導入する。
  論文  参考訳（メタデータ） (2026-07-30T18:42:01Z)
• Instinct vs. Reflection: Unifying Token and Verbalized Confidence in Multimodal Large Models [11.878003218072765]
  MLLM(Multimodal Large Language Models)は、様々な知覚や推論タスクにおいて例外的な機能を示す。 二重チャネル信号とチャネル間の整合性を融合して正当性を推定するモノトーン信頼融合フレームワークを提案する。 各種オープンソースおよびクローズドソースMLLMの実験結果から,本手法は信頼性の高い推定値が得られることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T06:07:39Z)
• Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
  EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。 EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。 最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
  論文  参考訳（メタデータ） (2026-04-17T13:27:11Z)
• VL-Calibration: Decoupled Confidence Calibration for Large Vision-Language Models Reasoning [5.887179947363831]
  大規模視覚言語モデル(LVLM)は、強いマルチモーダル推論を実現するが、幻覚や誤った反応を高い確信でしばしば示す。 既存の言語化された信頼度校正法は、主にテキストのみのLLM向けに開発され、通常、バイナリ応答レベルの正しさを使用して単一の総合的な信頼度スコアを最適化する。 本稿では,信頼を視覚的・理性的な信頼に明確に分離する強化学習フレームワークであるVL-Calibrationを提案する。
  論文  参考訳（メタデータ） (2026-04-10T17:47:19Z)
• HaluNet: Multi-Granular Uncertainty Modeling for Efficient Hallucination Detection in LLM Question Answering [12.183015986299438]
  マルチグラニュラートークンレベルの不確実性を統合する軽量でトレーニング可能なニューラルネットワークフレームワークである textbfHaluNet を提案する。 SQuAD、TriviaQA、Natural Questionsの実験は、HaluNetが強力な検出性能と良好な計算効率を提供することを示している。
  論文  参考訳（メタデータ） (2025-12-31T02:03:10Z)
• Proximity-Based Evidence Retrieval for Uncertainty-Aware Neural Networks [6.9681910774977815]
  本研究は,不確実性を考慮した意思決定のためのエビデンス・検索機構を提案する。 それぞれのテストインスタンスに対して、例題は埋め込み空間で検索され、それらの予測分布はデンプスター・シェーファー理論を介して融合される。 支持する証拠は明確であるため、決定は透明で監査可能である。
  論文  参考訳（メタデータ） (2025-09-11T13:12:22Z)
• TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
  本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。 キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
  論文  参考訳（メタデータ） (2025-04-20T09:20:55Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
  本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。 提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
  論文  参考訳（メタデータ） (2023-01-17T01:46:45Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture [5.868139834982011]
  ニューラルネットワークを現実世界のアプリケーションで信頼できるものにするためには、不確実性推定が不可欠である。 そこで本研究では,不確実性評価と領域外サンプル検出のための新しい多視点分類フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T04:47:51Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Trusted Multi-View Classification [76.73585034192894]
  本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。 さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
  論文  参考訳（メタデータ） (2021-02-03T13:30:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。