論文の概要: Confidence Calibration in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2507.17383v1
• Date: Wed, 23 Jul 2025 10:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-24 22:33:14.954206
• Title: Confidence Calibration in Vision-Language-Action Models
• Title（参考訳）: 視覚・言語・行動モデルにおける信頼度校正
• Authors: Thomas P Zollo, Richard Zemel,
• Abstract要約: 信頼できるロボットの振る舞いは、高いレベルのタスク成功と、それが成功する可能性の確実な定量化を必要とする。 本稿では,視覚言語行動(VLA)基礎モデルにおける信頼度校正に関する最初の体系的研究について述べる。
• 参考スコア（独自算出の注目度）: 2.230383995796716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trustworthy robot behavior requires not only high levels of task success but also that the robot can reliably quantify how likely it is to succeed. To this end, we present the first systematic study of confidence calibration in vision-language-action (VLA) foundation models, which map visual observations and natural-language instructions to low-level robot motor commands. We begin with extensive benchmarking to understand the critical relationship between task success and calibration error across multiple datasets and VLA variants, finding that task performance and calibration are not in tension. Next, we introduce prompt ensembles for VLAs, a lightweight, Bayesian-inspired algorithm that averages confidence across paraphrased instructions and consistently improves calibration. We further analyze calibration over the task time horizon, showing that confidence is often most reliable after making some progress, suggesting natural points for risk-aware intervention. Finally, we reveal differential miscalibration across action dimensions and propose action-wise Platt scaling, a method to recalibrate each action dimension independently to produce better confidence estimates. Our aim in this study is to begin to develop the tools and conceptual understanding necessary to render VLAs both highly performant and highly trustworthy via reliable uncertainty quantification.
• Abstract（参考訳）: 信頼できるロボットの振る舞いには、高いレベルのタスク成功だけでなく、ロボットが成功する確率を確実に定量化する必要がある。 この目的のために、視覚的観察と自然言語指示を低レベルロボットモーターコマンドにマッピングする視覚-言語-アクション(VLA)基礎モデルにおいて、信頼度校正に関する最初の体系的な研究を提示する。 我々は、タスク成功と複数のデータセットとVLAの変種間のキャリブレーションエラーのクリティカルな関係を理解するために、広範囲なベンチマークから始め、タスクパフォーマンスとキャリブレーションが緊張していないことを発見した。 次に、パラフレーズ命令の信頼度を平均化し、キャリブレーションを一貫して改善する軽量ベイズ型アルゴリズムであるVLAのプロンプトアンサンブルを導入する。 さらに,タスクタイムの地平線に対するキャリブレーションを分析し,ある程度進展した後の信頼度が最も高いことを示し,リスク認識介入の自然なポイントを示唆している。 最後に, 動作次元の差分校正を行い, アクションワイドプラットスケーリングを提案し, それぞれの動作次元を独立に再校正し, より良い信頼度を推定する手法を提案する。 本研究の目的は,信頼性の高い不確実性定量化を通じて,高パフォーマンスかつ高信頼性のVLAをレンダリングするために必要なツールと概念的理解を開発することである。

関連論文リスト

• Verbalized Confidence Triggers Self-Verification: Emergent Behavior Without Explicit Reasoning Supervision [12.287123198288079]
  大規模言語モデル(LLM)の安全な配置には不確実性校正が不可欠である 我々は,スカラー信頼ラベルのみを用いた教師付き微調整が,言語モデルの自己検証行動を引き出すのに十分であることがわかった。 キャリブレーションされた不確実性に基づいて,テスト時間スケーリングによる性能向上を図った簡易な再考手法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T08:56:24Z)
• Seeing is Believing, but How Much? A Comprehensive Analysis of Verbalized Calibration in Vision-Language Models [15.158475816860427]
  不確実性は、現代のAIシステムの信頼性と信頼性を評価するために不可欠である。 モデルが自然言語を通して信頼を表現する言語化された不確実性は、軽量で解釈可能なソリューションとして現れています。 しかし、視覚言語モデル(VLM)におけるその効果は未だ十分に研究されていない。
  論文  参考訳（メタデータ） (2025-05-26T17:16:36Z)
• Calibrating Uncertainty Quantification of Multi-Modal LLMs using Grounding [48.92310906093414]
  マルチモーダル大言語モデル(LLM)に適した不確実性定量化(UQ)の校正手法を提案する。 マルチモーダルモデルのキャリブレーションを改善するために,自己整合性に加えてクロスモーダル整合性を活用する。 医療質問応答(Slake)や視覚質問応答(VQAv2)といった複数のマルチモーダルタスクに対して,LLaVA-MedやLLaVAといったマルチモーダルモデルを考慮したアプローチを提案する。
  論文  参考訳（メタデータ） (2025-04-30T19:19:21Z)
• Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation [26.580361841501514]
  視覚言語モデル(VLM)は様々なマルチモーダルタスクに優れるが、しばしばキャリブレーションに苦しむ。 この誤判定は、特にモデルが不正確または製造された情報を確実に提供した場合、ユーザーの信頼を損なう。 本稿では,文節摂動(CSP)フレームワークを新たに提案し,オブジェクト中心クエリの言語的信頼度を校正する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T04:01:22Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,大規模言語モデルによって生成された複数の出力の自己整合性に基づいて,応答正当性を評価するための補助学習モデルを提案する。 提案手法は,複数応答間の一致を表現するために整合性グラフを構築し,グラフニューラルネットワーク(GNN)を用いて各応答の正しさを推定する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• Calibrating Large Language Models with Sample Consistency [76.23956851098598]
  本稿では,複数サンプルモデル生成系の分布から信頼度を導出する可能性について,一貫性の3つの尺度を用いて検討する。 その結果、一貫性に基づくキャリブレーション手法は、既存のポストホック手法よりも優れていることがわかった。 種々のLMの特性に合わせて,キャリブレーションに適した整合性指標を選択するための実用的なガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-02-21T16:15:20Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• On the Calibration of Large Language Models and Alignment [63.605099174744865]
  信頼性キャリブレーションは、ディープモデルの信頼性を高める重要なツールである。 構築プロセス全体を通して、アライメント言語モデルの校正を体系的に検討する。 我々の研究は、人気のあるLCMが十分に校正されているか、トレーニングプロセスがモデルの校正にどのように影響するかに光を当てています。
  論文  参考訳（メタデータ） (2023-11-22T08:57:55Z)
• A Survey of Confidence Estimation and Calibration in Large Language Models [86.692994151323]
  大規模言語モデル(LLM)は、様々な領域において幅広いタスクにまたがる顕著な機能を示している。 印象的なパフォーマンスにもかかわらず、彼らは世代内の事実上の誤りのために信頼できない。 信頼度を評価し、異なるタスクで調整することで、リスクを軽減し、LLMがより良い世代を創出できるようになります。
  論文  参考訳（メタデータ） (2023-11-14T16:43:29Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。