論文の概要: Uncertainty-o: One Model-agnostic Framework for Unveiling Uncertainty in Large Multimodal Models

• arxiv url: http://arxiv.org/abs/2506.07575v1
• Date: Mon, 09 Jun 2025 09:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.885612
• Title: Uncertainty-o: One Model-agnostic Framework for Unveiling Uncertainty in Large Multimodal Models
• Title（参考訳）: Uncertainty-o:大規模マルチモーダルモデルにおける不確かさを解消するための1つのモデル非依存フレームワーク
• Authors: Ruiyang Zhang, Hu Zhang, Hao Fei, Zhedong Zheng,
• Abstract要約: 不確実性(Uncertainty-o)は、LMMにおけるモダリティ、アーキテクチャ、能力に関わらず不確実性を明らかにするように設計された、モデルに依存しないフレームワークである。 様々なモダリティにまたがる18のベンチマークと10のLMM実験により、LMMの不確かさを確実に推定する不確実性oの有効性が示された。
• 参考スコア（独自算出の注目度）: 30.709848959820015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Multimodal Models (LMMs), harnessing the complementarity among diverse modalities, are often considered more robust than pure Language Large Models (LLMs); yet do LMMs know what they do not know? There are three key open questions remaining: (1) how to evaluate the uncertainty of diverse LMMs in a unified manner, (2) how to prompt LMMs to show its uncertainty, and (3) how to quantify uncertainty for downstream tasks. In an attempt to address these challenges, we introduce Uncertainty-o: (1) a model-agnostic framework designed to reveal uncertainty in LMMs regardless of their modalities, architectures, or capabilities, (2) an empirical exploration of multimodal prompt perturbations to uncover LMM uncertainty, offering insights and findings, and (3) derive the formulation of multimodal semantic uncertainty, which enables quantifying uncertainty from multimodal responses. Experiments across 18 benchmarks spanning various modalities and 10 LMMs (both open- and closed-source) demonstrate the effectiveness of Uncertainty-o in reliably estimating LMM uncertainty, thereby enhancing downstream tasks such as hallucination detection, hallucination mitigation, and uncertainty-aware Chain-of-Thought reasoning.
• Abstract（参考訳）: 様々なモダリティの相補性を生かしたLMMは、純粋な言語大モデル(LLM)よりも堅牢であると考えられがちだが、LMMは自分が知らないことを知っているのだろうか? 1)多様なLMMの不確かさを統一的に評価する方法,(2)LMMが不確実性を示すように促す方法,(3)下流タスクの不確かさの定量化方法,の3つの主要な疑問が残る。 これらの課題に対処するために,(1) モダリティやアーキテクチャ,能力に関わらず,LMMの不確実性を明らかにするために設計されたモデル非依存フレームワーク,(2) LMMの不確実性を明らかにするためのマルチモーダルな急激な摂動の実証調査,(3) マルチモーダルなセマンティック不確実性の定式化,などを紹介する。 様々なモダリティにまたがる18のベンチマークと10のLMM(オープンソースとクローズドソースの両方)にわたる実験では、LMMの不確かさを確実に推定する不確実性oの有効性が示され、幻覚検出、幻覚軽減、不確実性認識の連鎖理論などの下流タスクが強化された。

関連論文リスト

• Token-Level Uncertainty Estimation for Large Language Model Reasoning [24.56760223952017]
  大きな言語モデル(LLM)は印象的な機能を示していますが、その出力品質はさまざまなアプリケーションシナリオで相容れないままです。 本稿では, LLMの自己評価と, 数学的推論における生成品質の自己向上を可能にするトークンレベルの不確実性推定フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:47:32Z)
• Multimodal Learning with Uncertainty Quantification based on Discounted Belief Fusion [3.66486428341988]
  医療、金融、自動運転といった分野では、マルチモーダルAIモデルがますます使われています。 騒音、不十分な証拠、モダリティ間の紛争に起因する不確実性は、信頼できる意思決定に不可欠である。 本稿では,命令不変なエビデンス融合を用いた新しいマルチモーダル学習手法を提案する。
  論文  参考訳（メタデータ） (2024-12-23T22:37:18Z)
• SAUP: Situation Awareness Uncertainty Propagation on LLM Agent [52.444674213316574]
  大規模言語モデル(LLM)は多段階エージェントシステムに統合され、様々なアプリケーションにまたがる複雑な意思決定プロセスを可能にする。 既存の不確実性推定手法は主に最終段階の出力に重点を置いており、これは多段階決定プロセスにおける累積的不確実性やエージェントとその環境間の動的相互作用を考慮できない。 LLMエージェントの推論プロセスの各ステップを通じて不確実性を伝播する新しいフレームワークであるSAUPを提案する。
  論文  参考訳（メタデータ） (2024-12-02T01:31:13Z)
• The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio [118.75449542080746]
  本稿では,大規模マルチモーダルモデル(LMM)における幻覚に関する最初の系統的研究について述べる。 本研究は,幻覚に対する2つの重要な要因を明らかにした。 私たちの研究は、モダリティ統合の不均衡やトレーニングデータからのバイアスなど、重要な脆弱性を強調し、モダリティ間のバランスの取れた学習の必要性を強調した。
  論文  参考訳（メタデータ） (2024-10-16T17:59:02Z)
• MAQA: Evaluating Uncertainty Quantification in LLMs Regarding Data Uncertainty [10.154013836043816]
  データ不確実性の存在下での過去の不確実性定量化手法について検討する。 以上の結果から,従来の手法はシングル・アンサー・セッティングに比べて比較的困難であったことが示唆された。 我々は,データ不確実性が存在する場合でも,エントロピーと一貫性に基づく手法がモデル不確実性を効果的に推定することを示した。
  論文  参考訳（メタデータ） (2024-08-13T11:17:31Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Unsolvable Problem Detection: Robust Understanding Evaluation for Large Multimodal Models [84.78457918843165]
  Unsolvable Problem Detection (UPD) は,大規模マルチモーダルモデル(LMM)の頑健な理解能力を評価するための新しいタスクである。 UPDは、多票質問応答の解決不可能な問題に遭遇する際のLMMの回答を抑える能力を評価する。 本稿では,MM-UPD Benchについて紹介する。
  論文  参考訳（メタデータ） (2024-03-29T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。