論文の概要: Dissecting Training-Free Uncertainty Estimation in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.22206v1
• Date: Tue, 01 Sep 2026 12:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.770972
• Title: Dissecting Training-Free Uncertainty Estimation in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける離散学習自由不確かさ推定
• Abstract要約: MLLM(Multimodal Large Language Models)は、幅広いマルチモーダルタスクにおいて顕著なパフォーマンスを達成しているが、それらの予測の不確実性について理解と定量化は、安全クリティカルなアプリケーションの中心的存在であるにもかかわらず、未発見のままである。 本稿では,MLLMのトレーニング不要不確実性定量化戦略を体系的に研究し,既存のアプローチをトークンレベルメソッド,自然言語のプロンプトを通じて不確実性推定や禁忌信号を引き出す言語化手法,意味的意味空間における不確実性を測定する意味的手法の3つの概念的ファミリーに分類する。
• 参考スコア（独自算出の注目度）: 29.767926714034655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) have achieved remarkable performance across a wide range of multimodal tasks, yet understanding and quantifying their predictive uncertainty remains underexplored despite being central for safety critical applications. In this work, we present a systematic study of training-free uncertainty quantification strategies for MLLMs, categorizing existing approaches into three conceptual families: token-level methods, which operate directly in the text output space; verbalized methods, which elicit uncertainty estimates or abstention signals via natural language prompts; and semantic methods, which measure uncertainty in a semantic meaning space. We benchmark these strategies across multiple datasets, model families, generations, and scales, and find that no single family dominates: token-level entropy (at sampling temperature 1.0) wins on short answers, verbalized abstention on sentence-length responses, and semantic methods on long-form generation.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、幅広いマルチモーダルタスクにおいて顕著なパフォーマンスを達成しているが、それらの予測の不確実性について理解と定量化は、安全クリティカルなアプリケーションの中心であるにもかかわらず、未発見のままである。 本研究では,MLLMのトレーニング不要不確実性定量化戦略を体系的に研究し,既存のアプローチを,テキスト出力空間で直接動作するトークンレベルメソッド,自然言語のプロンプトを介して不確実性推定や停止信号を引き出す言語化手法,意味的意味空間における不確実性を測定するセマンティックメソッドの3つの概念ファミリーに分類する。 複数のデータセット、モデルファミリー、世代、スケールでこれらの戦略をベンチマークし、トークンレベルのエントロピー(サンプリング温度1.0)が短い回答で勝利し、文長応答で言語化された棄権、長文生成におけるセマンティックメソッドが勝利した。

関連論文リスト

• The Origins of Stochasticity: Comprehensive Investigations on Uncertainty Quantification for Large Language Models [12.213066436465601]
  本稿では,不確かさを入力レベル,パラメータレベル,トークンレベル,復号処理源に分類する,きめ細かい不確実性分類法を提案する。 多様な世代設定とメトリクスを網羅した総合評価フレームワークを導入する。 実験の結果、(i)UQ手法の有効性はタスクタイプや生成設定に敏感であり、(ii)コンセンサスに基づく手法は、他のUQ手法よりも一貫して優れており、(iii)より大規模なモデルスケールは、低い不確実性推定と相関していることが示された。
  論文  参考訳（メタデータ） (2026-06-22T03:05:04Z)
• Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models [54.041320081289996]
  音声対応大言語モデル(ALLM)における不確実性推定に関する最初の系統的研究について述べる。 予測エントロピー、長さ正規化エントロピー、意味エントロピー、個別意味エントロピー、P(True)を含む5つの代表的な手法をベンチマークする。 まず、意味レベルと検証ベースの手法は、一般的な音声推論ベンチマークにおけるトークンレベルベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-04-28T12:56:22Z)
• Human-Inspired Learning for Large Language Models via Obvious Record and Maximum-Entropy Method Discovery [0.11844977816228043]
  本稿では,2つの相補的なメカニズムを組み込んだヒューマンインスピレーション学習フレームワークを提案する。 第一のObvious Recordは、因果関係(または疑問解決)を象徴記憶として明示的に記憶する。 第二に、最大エントロピー法発見(Maximum-Entropy Method Discovery)は、高いセマンティックな相似性を持つメソッドを優先順位付けし、保存する。
  論文  参考訳（メタデータ） (2025-12-14T09:12:09Z)
• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Improving Uncertainty Quantification in Large Language Models via Semantic Embeddings [11.33157177182775]
  大規模言語モデル(LLM)における正確な不確実性の定量化は、信頼性の高いデプロイメントに不可欠である。 LLMにおける意味的不確実性を測定するための現在の最先端手法は、厳密な双方向の包含基準に依存している。 本研究では,意味的不確実性のよりスムーズでロバストな推定を実現するためにセマンティックな埋め込みを利用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-30T04:41:46Z)
• CLUE: Concept-Level Uncertainty Estimation for Large Language Models [49.92690111618016]
  大規模言語モデル(LLM)のための概念レベル不確実性推定のための新しいフレームワークを提案する。 LLMを利用して、出力シーケンスを概念レベルの表現に変換し、シーケンスを個別の概念に分解し、各概念の不確かさを個別に測定する。 我々は,文レベルの不確実性と比較して,CLUEがより解釈可能な不確実性推定結果を提供できることを示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-04T18:27:12Z)
• Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models [104.55763564037831]
  我々は、注意マップ、現在の生成ステップにおける確率、および以前に生成されたトークンから繰り返し計算された不確実性スコアを利用する回帰モデルを訓練する。 評価の結果,提案手法は選択的生成に極めて有効であり,教師なしアプローチと教師なしアプローチに比較して大幅な改善が得られた。
  論文  参考訳（メタデータ） (2024-08-20T09:42:26Z)
• Semantic Density: Uncertainty Quantification for Large Language Models through Confidence Measurement in Semantic Space [14.715989394285238]
  既存のLarge Language Models (LLM) には、ユーザが生成するレスポンスごとに不確実性/信頼度を計測するための固有の機能がない。 本稿では,これらの課題に対処する新しい枠組みを提案する。 意味密度は、意味空間における確率分布の観点から各応答の不確かさ/自信情報を抽出する。
  論文  参考訳（メタデータ） (2024-05-22T17:13:49Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。