論文の概要: How Much Should a VLA Trust Its Reasoning? Step-Level Guidance as a Measured Action-Value Function

• arxiv url: http://arxiv.org/abs/2610.40002v1
• Date: Thu, 29 Oct 2026 13:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.509098
• Title: How Much Should a VLA Trust Its Reasoning? Step-Level Guidance as a Measured Action-Value Function
• Title（参考訳）: VLAの推論はどの程度信頼されるべきか? : ステップレベル誘導をアクション値関数として
• Abstract要約: CoC-CFGは、ポリシーのコンテキストと推論の範囲なしに同じコンテキストの間にEulerのないガイダンスを適用します。 我々は、この重みの選択を、ブートストラップではなく、アクション値が測定されるマルコフ決定プロセスとして扱う。 アルパシムの運転シミュレータでは、全ての固定重量とオンラインRL(SAC, GRPO)をオープンループで上回り、クローズドループでは300シーン中262シーンを通過させ、当初のポリシーでは252シーンを通過させる。
• 参考スコア（独自算出の注目度）: 1.2645663389012574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning vision-language-action (VLA) policies write a reasoning trace and then decode the action from it. A wrong trace yields a wrong action, and even a correct-looking trace can mislead the plan. Existing remedies ask whether the reasoning is right. We ask how strongly it should steer. CoC-CFG applies classifier-free guidance between the policy's context and the same context without the reasoning span. One weight per Euler step attenuates or amplifies the reasoning, and w=1 recovers the original policy. We treat the choice of this weight as a Markov decision process whose action values are measured, not bootstrapped. With the expert frozen and the noise fixed, applying a weight for one step and finishing the plan under the current controller returns that weight's value exactly. Q-adaptive guidance fits these values with small critics and improves the controller conservatively. In the Alpasim driving simulator it outperforms every fixed weight and online RL (SAC, GRPO) in open loop, and in closed loop it passes 262 of 300 scenes, against 252 for the original policy. On held-out frames of the Waymo end-to-end driving benchmark, its first three stages outperform every fixed weight, four adaptive-guidance methods, SAC and GRPO. On the hidden test set, a frozen Alpamayo 1.5 with rule-based camera and vehicle conversions and Q-adaptive guidance sets a new state of the art among published methods: 8.135159 rater feedback score, against 8.079 for the best published method.
• Abstract（参考訳）: VLA(Reasoning Vision-Language-action)ポリシーは、推論トレースを書き、そこからアクションをデコードする。 間違ったトレースは間違ったアクションをもたらし、正しいトレースでさえその計画を誤解させる可能性がある。 既存の治療法は、推論が正しいかどうかを問う。 どのくらい強く握るべきかと尋ねる。 CoC-CFGは、ポリシーのコンテキストと推論スパンを使わずに同じコンテキストの間の分類子なしのガイダンスを適用します。 ユーラーステップあたりの1つの重みは推論を減衰または増幅し、w=1は元のポリシーを回復する。 我々は、この重みの選択を、ブートストラップではなく、アクション値が測定されるマルコフ決定プロセスとして扱う。 専門家が凍結してノイズを固定すると、一ステップに重みを付け、現在の制御装置の下で計画を完成させると、その重みの値が正確に返される。 Q適応的ガイダンスはこれらの値を小さな批評家に適合させ、コントローラを保守的に改善する。 アルパシムの運転シミュレータでは、全ての固定重量とオンラインRL(SAC, GRPO)をオープンループで上回り、クローズドループでは300シーン中262シーンを通過させ、当初のポリシーでは252シーンを通過させる。 Waymoのエンドツーエンド駆動ベンチマークの保留フレームでは、最初の3段階は固定重量、適応誘導方式、SACとGRPOの4つを上回っている。 The hidden test set, a frozen Alpamayo 1.5 with rule-based camera and vehicle conversions and Q-adaptive guidance set a new-of-the-art: 8.135159 rater feedback score, against 8.079 for the best published method。

関連論文リスト

• Demonstration Calibrated Port-Hamiltonian Retuning for Manipulation Policies [6.391974758970537]
  PHRetuneはオフラインのメソッドで、ロールアウトの評価や検索の取得なしに、フリーズポリシのコントローラゲインを導出する。 我々のアプローチは、政策の予測行動に関連する労力とエネルギーを推定するために、実証からポート・ハミルトンモデルを学ぶ。 LIBEROスイート全体では、PHRetuneは拡散政策の成功を最大9.4ポイント改善している。
  論文  参考訳（メタデータ） (2026-10-05T04:05:18Z)
• Answer with Evidence: Consistency-Aware Grounded Visual Question Answering for Roadside Traffic Scenes [74.32863692381677]
  RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。 RoadSceneVQA-Gは34.7Kの質問応答対のベンチマークである。
  論文  参考訳（メタデータ） (2026-10-04T14:48:54Z)
• When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies [7.580719272198118]
  推論可能なVLAポリシは、そのアクションの説明とガイドのように見えるチェーンオブ思想のトレースを公開する。 信頼性と動作性を評価するための2つの評価軸を定義し,運用する。 アルパマヨ1.5の運転VLAでは、TRUSTは88.9%の精度で正確さを監視し、推論の正確さを75.9%から90.0%に改善する。
  論文  参考訳（メタデータ） (2026-09-30T19:04:58Z)
• Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies [49.96302515333647]
  本稿では,トラジェクティブ・アウェア・批評家の指導を軽量な指導ネットワークに補正する随伴誘導流を提案する。 AGFは、ガイダンス毎に3.6times$高速で、7.0times$より少ないパラメータで、同等で、パフォーマンスも向上している。
  論文  参考訳（メタデータ） (2026-09-28T11:37:06Z)
• ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies [0.576537956677604]
  本稿では,凍結したDINOv3バックボーン上の因果変換器であるValueFormerを紹介する。 障害エピソードには、障害ステージ前の成功曲線を保存するステージ認識、成功テーマデカイリターンとラベル付けされ、単一の障害時間ではなく、ミス間隔から検出が監視される。
  論文  参考訳（メタデータ） (2026-08-03T23:46:39Z)
• When is Your LLM Steerable? [56.656180566692946]
  アクティベーションステアリングは、推論時に言語モデルの振る舞いを制御するための軽量なアプローチを提供する。 ステアリングを成功させる体制と境界を見つけるには、通常、高価なグリッドサーチが必要である。 生成プロセスの開始時にモデルの内部状態からステアビリティを予測できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-10T02:55:34Z)
• The Hidden Bias of Process Reward Models:PRISM for Rewarding the Right Reasoning [54.0056619145783]
  プロセス・リワード・モデル (Process Reward Models, PRM) は、段階的なフィードバックを提供することで、推論のためのクレジット割り当てを改善する。 ステップレベルのトレーニングデータにおいて,重度の不均衡に起因するPRMの隠れバイアスを同定する。 対照的な段階比較から学習するポリシ対応のPRMトレーニングフレームワークであるPRISMを提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:22:33Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。