論文の概要: Uncertainty-Aware Decision Making in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2608.17084v1
• Date: Mon, 17 Aug 2026 19:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.118815
• Title: Uncertainty-Aware Decision Making in Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルにおける不確実性を考慮した意思決定
• Abstract要約: マルチモーダルな大言語モデルは、視覚的、テキスト的、時間的、音響的、文書的、チャート的、または具体的証拠に依存する疑問に、ますます答える。 流動的な答えは、入力品質の低さ、知覚的誤り、基盤の弱さ、モダリティ間の衝突、不安定な推論、分布シフト、あるいは供給された証拠から答えられない質問を隠蔽することができる。 この調査は、意思決定中心のフレームワークを中心とした不確実性を考慮したMLLMに関する文献を整理する。
• 参考スコア（独自算出の注目度）: 13.665861251747144
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal large language models (MLLMs) increasingly answer questions whose correctness depends on visual, textual, temporal, acoustic, document, chart, or embodied evidence. Their failures are therefore not only linguistic. A fluent answer may conceal poor input quality, a perceptual error, weak grounding, conflict between modalities, unstable reasoning, distribution shift, or a question that is not answerable from the supplied evidence. This survey organizes the literature on uncertainty-aware MLLMs around a decision-centered framework: uncertainty sources give rise to observable signals, signals must be calibrated or controlled for risk, and calibrated uncertainty should determine the system action. We review work on token and logit uncertainty, semantic disagreement, perturbation instability, grounding and attribution scores, verbalized confidence, verifier and judge scores, conformal prediction, selective answering, abstention, clarification, retrieval, self-checking, and escalation. The central argument is that uncertainty should not be evaluated only as a confidence number; it should be evaluated by whether it improves behavior under insufficient, conflicting, shifted, or high-risk multimodal evidence. We position this survey against text-only uncertainty and abstention surveys, broad MLLM surveys, MLLM hallucination surveys, and safety-oriented reviews. We conclude with open problems in source-aware decomposition, action-aware benchmarks, calibration under shift, black-box uncertainty estimation, broader modality coverage, reproducible reporting, and human-centered uncertainty communication.
• Abstract（参考訳）: MLLM(Multimodal large language model)は、視覚的、テキスト的、時間的、音響的、文書的、チャート的、具体的証拠に依存する疑問に、ますます答える。 そのため、失敗は言語に限ったものではない。 流動的な答えは、入力品質の低さ、知覚的誤り、基盤の弱さ、モダリティ間の衝突、不安定な推論、分布シフト、あるいは供給された証拠から答えられない質問を隠蔽することができる。 この調査は、不確実性を考慮したMLLMに関する文献を整理し、不確実性ソースが観測可能な信号を生み出し、信号の校正または制御をリスクのために行い、不確実性の校正はシステムアクションを決定する。 本稿では,トークンとロジットの不確実性,意味的不一致,摂動不安定性,根拠と帰属スコア,言語的信頼度,検証者と判断スコア,コンフォメーション予測,選択的回答,棄却,明確化,検索,自己検証,エスカレーションについて検討する。 中心的な議論は、不確実性は信頼数としてのみ評価されるべきではなく、不十分、矛盾、シフト、高リスクなマルチモーダルな証拠の下での行動を改善するかによって評価されるべきである。 本調査は,テキストのみの不確実性調査と禁忌調査,広範なMLLM調査,MLLM幻覚調査,安全志向のレビューに対して位置づける。 我々は、ソース・アウェアの分解、アクション・アウェアのベンチマーク、シフト中のキャリブレーション、ブラックボックスの不確実性推定、より広範なモダリティカバレッジ、再現可能なレポート、人間中心の不確実性通信におけるオープンな問題で結論付けた。

関連論文リスト

• When Confidence Signals Disagree: Local and Global Confidence in Autoregressive Language Models [0.0]
  自己回帰言語モデルにおいて,異なる信頼度が経験的に交換可能であるかを検討する。 MMLU と ARC Challenge 全体では、2つの信号は弱い相関関係にあり、その正しさと大きく異なる。 より大きい局所-グローバル信頼ギャップは、より高い回答エントロピー、より明確なサンプル回答、低いモーダル・アンサー濃度と関連している。
  論文  参考訳（メタデータ） (2026-09-15T10:08:48Z)
• DirEAG: Dirichlet Evidence Aggregation for Calibrating Verbalized Confidence in Mathematical Reasoning [2.867517731896504]
  ブラックボックスの言語的信頼度は、大きな言語モデルでは校正が難しい。 本稿では,ディリクレ証拠集約法であるDirEAGを提案する。
  論文  参考訳（メタデータ） (2026-08-21T03:48:25Z)
• Concerning Uncertainty -- A Systematic Survey of Uncertainty-Aware XAI [2.204918347869259]
  本稿では、不確実性が説明可能な人工知能(UAXAI)にどのように組み込まれるかを検討する。 不確実性に対する3つの繰り返しアプローチが出現する。信頼度の評価、モデルや説明の制約、不確実性を明確に伝達する。 UAXAIの進歩には、不確実性伝播、堅牢性、人間による意思決定を結びつける統一的な評価原則が必要であると我々は主張する。
  論文  参考訳（メタデータ） (2026-03-27T08:07:18Z)
• Certainty robustness: Evaluating LLM stability under self-challenging prompts [0.5156484100374058]
  大規模言語モデル(LLM)は、確実性や真実を推論する明確なメカニズムが欠如しているにもかかわらず、高い自信を持って答えを提示することが多い。 本稿では,LLMの安定性と適応性のバランス性を評価するための2ターン評価フレームワークであるCertainty Robustness Benchmarkを紹介する。 我々はLiveBenchの200の推論と数学の質問を用いて、4つの最先端LCMを評価し、正当性のある自己補正と正当性のない答えの変化を区別する。
  論文  参考訳（メタデータ） (2026-02-10T18:07:51Z)
• Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations [49.84786015324238]
  信頼度推定(CE)は、大きな言語モデル(LLM)の回答がどれほど信頼性が高いかを示し、ユーザの信頼と意思決定に影響を与える可能性がある。 本稿では,CEの信頼性を3つの新しい側面で評価する総合評価フレームワークを提案する。 これには、急激な摂動に対する自信の堅牢性、意味論的に等価な答えに対する安定性、意味論的に異なる答えに対する感受性が含まれる。
  論文  参考訳（メタデータ） (2026-01-12T23:16:50Z)
• Towards Reliable LLM-based Robot Planning via Combined Uncertainty Estimation [68.106428321492]
  大規模言語モデル (LLM) は高度な推論能力を示し、ロボットが自然言語の命令を理解し、適切な接地で高レベルな計画を生成することができる。 LLMの幻覚は重大な課題であり、しばしば過度に信頼され、不一致または安全でない計画に繋がる。 本研究は, 信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性・信頼性評価を別々に評価するものである。
  論文  参考訳（メタデータ） (2025-10-09T10:26:58Z)
• Can LLMs Detect Their Confabulations? Estimating Reliability in Uncertainty-Aware Language Models [24.72990207218907]
  LLM(Large Language Models)は、畳み込み(confabulation)として知られる、流動的だが不正なコンテンツを生成する傾向にある。 本研究では、文脈内情報がモデル行動にどのように影響するか、LLMが信頼できない応答を識別できるかを検討する。
  論文  参考訳（メタデータ） (2025-08-11T16:12:36Z)
• Uncertainty Quantification and Confidence Calibration in Large Language Models: A Survey [11.737403011836532]
  LLM(Large Language Models)は、医療、法律、交通といった高度な分野において、テキスト生成、推論、意思決定に優れる。 不確実性定量化(UQ)は、アウトプットの信頼度を推定することで信頼性を高め、リスク軽減と選択的予測を可能にする。 計算効率と不確実性次元に基づいてUQ手法を分類する新しい分類法を提案する。
  論文  参考訳（メタデータ） (2025-03-20T05:04:29Z)
• Probabilistic Modeling of Disparity Uncertainty for Robust and Efficient Stereo Matching [61.73532883992135]
  本稿では,新しい不確実性を考慮したステレオマッチングフレームワークを提案する。 我々はベイズリスクを不確実性の測定として採用し、データを別々に見積もり、不確実性をモデル化する。
  論文  参考訳（メタデータ） (2024-12-24T23:28:20Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty [53.336235704123915]
  提案手法は, 自然言語による応答の信頼度と, LMによる不確実性に応答して下流ユーザーがどのように振る舞うかを考察する。 誤応答を生じた場合でも,LMは疑問に答える際の不確実性を表現することに消極的であることがわかった。 我々は、人間の実験によって、LM過信のリスクを検証し、ユーザがLM世代に大きく依存していることを示します。 最後に、トレーニング後のアライメントに使用する嗜好アノテートデータセットを調査し、不確実性のあるテキストに対して人間がバイアスを受けていることを確認する。
  論文  参考訳（メタデータ） (2024-01-12T18:03:30Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。