論文の概要: Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies

• arxiv url: http://arxiv.org/abs/2610.29730v1
• Date: Wed, 21 Oct 2026 13:34:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.373388
• Title: Post-hoc Epistemic Uncertainty for Vision-Language-Action Policies
• Title（参考訳）: 視線失調症治療薬の保熱後の不確かさ
• Abstract要約: 独立的に訓練されたポリシーの集合内での宣言は決定を導くことができるが、複数のポリシーを訓練し実行する必要がある。 単一ポリシーの埋め込みから不確実性を推定するポストホックカーネル分散ヘッドを提案する。 LIBERO-10上でのSmolVLAを用いた実験では、カーネル分散ヘッドは、タスクレベルとタスク成功の相関、アクティブラーニング中の実演獲得、人的援助のプロキシとしてのより強力な監督ポリシーへの言及において、2つの政治アンサンブルスコアと競合して動作する。
• 参考スコア（独自算出の注目度）: 0.21284796876629417
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) policies need to recognize gaps in their training knowledge to request useful demonstrations or assistance in new situations, especially when failures are costly. Disagreement within an ensemble of independently trained policies can guide these decisions, but requires training and running multiple policies. We propose post-hoc kernel-variance heads that estimate epistemic uncertainty from the embeddings of a single policy. Each head computes the conditional variance of a Gaussian process conditioned on embeddings from the training demonstrations. Fitting requires no regression targets or gradient updates and leaves the policy unchanged. In experiments with SmolVLA on LIBERO-10, the kernel variance heads perform competitively with two-policy ensemble scores in task-level correlation with task success, in demonstration acquisition during active learning, and in referral to a stronger supervisor policy as a proxy for human assistance. For SmolVLA, the head on the vision-language backbone reduces uncertainty-scoring time by up to approximately a factor of 50 compared with ensemble scores, while also substantially reducing setup costs. We also show that the established evaluation protocol on LIBERO-10 primarily rewards recognition of coverage differences between tasks, while execution variability weakens assessment of within-task rankings. Thus, controlled perturbations provide a complementary evaluation: modality-specific heads identify unfamiliar camera, instruction, or state inputs, while fused heads can detect unfamiliar combinations of individually familiar inputs. With a supervisor proxy trained on the evaluated perturbation families, the decoder head improves within-task referral over ensemble disagreement. These findings show that useful uncertainty estimates for adaptive robot learning can be obtained from a single policy.
• Abstract（参考訳）: VLA(Vision-Language-action)ポリシでは,特に障害のコストがかかる場合には,トレーニング知識のギャップを認識して,新たな状況における有用なデモンストレーションや支援を求める必要がある。 独立的に訓練されたポリシーの集合内での宣言は、これらの決定を導くことができるが、訓練と複数のポリシーの実行が必要である。 単一ポリシーの埋め込みからエピステミック不確かさを推定するポストホックカーネル分散ヘッドを提案する。 各ヘッドは、訓練デモからの埋め込みを条件としたガウス過程の条件分散を計算する。 適合には回帰目標や勾配の更新は不要で、ポリシーは変更されない。 LIBERO-10上でのSmolVLAを用いた実験では、カーネル分散ヘッドは、タスクレベルとタスク成功との相関、アクティブラーニング中の実演獲得、人的援助のプロキシとしてのより強力な監督ポリシーへの言及において、2つの政治アンサンブルスコアと競合して動作する。 SmolVLAの場合、視覚言語バックボーンのヘッドはアンサンブルスコアと比較して、不確実性スコアの時間を最大50倍に削減し、セットアップコストを大幅に削減する。 また,LIBERO-10 上で確立された評価プロトコルは,タスク間のカバレッジ差の認識を主目的とし,実行変数はタスク内ランキングの評価を弱めることを示した。 したがって、制御された摂動は相補的な評価を与える: モダリティ固有の頭は、慣れ親しんだカメラ、命令、状態入力を識別し、融合した頭は慣れ親しんだ入力の慣れ親しんだ組み合わせを検出できる。 評価された摂動ファミリーで訓練されたスーパーバイザプロキシにより、デコーダヘッドはアンサンブルの不一致に対してタスク内参照を改善する。 これらの結果から,適応型ロボット学習における有用不確実性評価は,一つの方針から得られることが示唆された。

関連論文リスト

• Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies [56.86456077356948]
  凍結言語アクション(VLA)ポリシーは、テスト時に徐々に改善されている。 追加のサンプリングは、ポリシーのロールアウト内により優れた振る舞いが存在する場合にのみ有効である。 検索は、関連するアクションがポリシーによって確実に表現されない場合に最も有用である。
  論文  参考訳（メタデータ） (2026-08-18T08:11:31Z)
• Diagnose, Recover, Certify: Task Readiness under Hidden Dynamics Changes [10.10742501508043]
  本稿では,アクティブチェンジ診断とポストチェンジ制御の回復を統一する決定問題である,休息時ダイナミクスドリフトにおけるタスクの即応性を導入する。 Evidence-Gated Matched-Pulse Transport(英語版)を提案する。 複数のシミュレーターにまたがる様々なドミナント・アクチュエーター・ベンチマークで、その結果のフレームワークを評価する。
  論文  参考訳（メタデータ） (2026-07-30T12:30:16Z)
• Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap [8.291484471359633]
  標準A/Bテストプロトコルにおける重要な非効率性を同定する。 治療とコントロールポリシーが行動に一致した場合、その結果はノイズに寄与するが、治療効果に関する信号はない。 本稿では,この重なり合いを利用して実験を加速する新しい実験プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-07-16T06:08:52Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering [10.01278648231868]
  ポリシーステアリングは、デプロイ時にロボットの振る舞いを適用する新しい方法です。 VLM(Vision-Language Models)は、それらの推論能力のために、汎用的な検証を約束する。 セマンティックタスクの不確実性と低レベルのアクション実現可能性について共同で理由づけるフレームワークである不確実性対応型ポリシーステアリング(UPS)を提案する。
  論文  参考訳（メタデータ） (2026-02-25T23:23:22Z)
• Offline Reinforcement Learning with On-Policy Q-Function Regularization [57.09073809901382]
  ヒストリーデータセットと所望のポリシー間の分布シフトによって引き起こされる(潜在的に破滅的な)外挿誤差に対処する。 正規化により推定Q-関数を利用する2つのアルゴリズムを提案し、D4RLベンチマークに強い性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-07-25T21:38:08Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Taming Multi-Agent Reinforcement Learning with Estimator Variance Reduction [12.94372063457462]
  分散実行(CT-DE)による集中トレーニングは、多くの主要なマルチエージェント強化学習(MARL)アルゴリズムの基礎となっている。 特定の状態における共同行動の単一のサンプルから学ぶことに依存しているため、これは重大な欠点に悩まされる。 本稿では,アクター・クリティカルなMARL法に対応する拡張ツールを提案する。
  論文  参考訳（メタデータ） (2022-09-02T13:44:00Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。