論文の概要: Aligning Multi-Trajectory Supervision with Policy Optimization for VLA Driving
- arxiv url: http://arxiv.org/abs/2608.30122v1
- Date: Mon, 31 Aug 2026 01:17:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.183725
- Title: Aligning Multi-Trajectory Supervision with Policy Optimization for VLA Driving
- Title（参考訳）: VLA運転のためのポリシー最適化による多軌道スーパービジョンの調整
- Abstract要約: 視覚言語行動駆動法は、多軌道模倣学習とグループ言語ポリシー最適化をますます組み合わせている。
模倣を改善するハイスコアな軌道は、現在の政策の実行可能な行動分布とミスマッチした利点推定を誘導することによって、その後のGRPOを劣化させる可能性がある。
本稿では,多軌道監視と政策最適化を連携させる新しい枠組みを提案する。
- 参考スコア（独自算出の注目度）: 21.099042693122218
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) driving methods increasingly combine multi-trajectory imitation learning with group-relative policy optimization (GRPO), making trajectory selection critical to final performance. However, some high-scoring trajectories that improve imitation can degrade subsequent GRPO by inducing advantage estimates misaligned with the current policy's feasible behavior distribution, driving updates away from safe and compliant behaviors. To address this, we propose a novel framework that aligns multi-trajectory supervision with policy optimization. To address the policy gradient bias induced by infeasible noisy trajectories outside the feasible region, augmented trajectories are constrained to a neighboring manifold of the ground-truth feasible region, and a Pareto-optimality criterion is adopted in place of the conventional aggregate score, retaining only non-dominated candidates and thereby filtering out conflicting samples at the source. To ensure that expanded trajectory supervision is effectively absorbed during policy optimization, we introduce two complementary mechanisms: feasibility-first advantage assignment and dynamic distillation. The former adapts Pareto credit to the feasibility composition of each rollout group and guides fully infeasible groups toward safe references. The latter updates teacher trajectories across refinement rounds to continually transfer useful supervision. Together, they progressively translate the benefits of expanded supervision into policy improvement. On NAVSIM v1 and v2, our method achieves 91.4 PDMS and 89.1 EPDMS, respectively, under single-trajectory inference, and recovers 440 of 658 initially failed scenes, 11.1\% higher than the original GRPO baseline.
- Abstract（参考訳）: 視覚-言語-アクション (VLA) 駆動法は多軌道模倣学習とグループ相対的ポリシー最適化 (GRPO) を組み合わさり、最終的な性能に重要な軌道選択をもたらす。
しかし、模倣を改善するいくつかの高速軌道は、現在の政策の実行可能な行動分布と不一致な利点推定を誘導し、安全かつコンプライアンスな行動から更新を遠ざけることにより、その後のGRPOを劣化させる可能性がある。
そこで本研究では,多軌道監視と政策最適化を連携させる新しい枠組みを提案する。
実現可能な領域外の雑音性軌道によって引き起こされる政策勾配バイアスに対処するため、拡張軌跡は、接地可能領域の隣接する多様体に拘束され、従来の集計スコアの代わりにパレート最適基準が採用され、非支配的候補のみを保持し、ソースにおける矛盾するサンプルをフィルタリングする。
政策最適化において,拡張軌道監視が効果的に吸収されることを確認するため,実現可能性優先の有利な割り当てと動的蒸留という2つの相補的なメカニズムを導入する。
前者はParetoクレジットを各ロールアウトグループの実現可能な構成に適合させ、安全な参照に向けて完全に不可能なグループをガイドする。
後者は、教師の軌跡を改良ラウンドで更新し、有用な監督を継続的に伝達する。
同時に、拡張された監督の利点を政策改善に段階的に翻訳する。
NAVSIM v1 と v2 では,単軌道推定で 91.4 PDMS と 89.1 EPDMS をそれぞれ達成し,初期のGRPO ベースラインよりも 11.1 % 高い 658 シーンのうち 440 を復元する。
関連論文リスト
- From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。
敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。
実験の結果、最大40.6%のトレーニングステップが短縮された。
論文 参考訳（メタデータ） (2026-06-12T02:13:55Z) - Proximal Policy Optimization in Path Space: A Schrödinger Bridge Perspective [41.829130841650326]
我々は、一般化シュルディンガー橋(GSB)に触発された生成PPOの経路空間定式化であるGSB-PPOを提案する。
本枠組みでは,クリッピングに基づく目的,GSB-PPO-Clip,およびペナルティに基づく目的,GSB-PPO-Penaltyの2つの具体的目標を開発する。
提案手法は,PPOを用いた生成ポリシーのトレーニングに有効な原理としてパス空間近位正規化が重要である。
論文 参考訳（メタデータ） (2026-03-23T06:37:42Z) - dTRPO: Trajectory Reduction in Policy Optimization of Diffusion Large Language Models [71.26391195427878]
拡散大言語モデル(dLLM)は、言語生成の新しいパラダイムを導入する。
本研究は,軌道確率計算のコストを削減し,dLLMのポリシー最適化を改善することを目的とする。
我々は、7B dLLMのdTRPOを命令追従と推論のベンチマークで評価した。
論文 参考訳（メタデータ） (2026-03-19T11:55:52Z) - Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。
我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。
一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
論文 参考訳（メタデータ） (2026-01-13T10:46:06Z) - MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。
我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。
本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
論文 参考訳（メタデータ） (2026-01-12T05:02:48Z) - GRPO-Guard: Mitigating Implicit Over-Optimization in Flow Matching via Regulated Clipping [63.33669214116784]
GRPO-Guardは、既存のGRPOフレームワークのシンプルで効果的な拡張である。
PPOクリッピングが有害な更新を適切に制限することを保証するため、バランスとステップ一貫性の重要度を回復する。
重いKL正則化に頼ることなく、暗黙の過最適化を実質的に緩和する。
論文 参考訳（メタデータ） (2025-10-25T14:51:17Z) - DriveDPO: Policy Learning via Safety DPO For End-to-End Autonomous Driving [31.336758241051374]
DriveDPOは、安全指向最適化政策学習フレームワークである。
我々は、直接政策最適化のために、人間の模倣類似性とルールに基づく安全スコアから統一されたポリシー分布を蒸留する。
NAVSIMベンチマークの実験では、DriveDPOは90.0の最先端PDMSを達成した。
論文 参考訳（メタデータ） (2025-09-22T16:01:11Z) - GTPO: Trajectory-Based Policy Optimization in Large Language Models [42.60363805227946]
政策に基づく最適化は、今日の言語モデルのトレーニングとアライメントに広く採用されている。
本稿では,GRPOの2つの大きな限界を明らかにし,解析する。
コンフリクトトークンを識別するGTPOを導入する。
論文 参考訳（メタデータ） (2025-08-05T08:15:01Z) - Robust Policy Switching for Antifragile Reinforcement Learning for UAV Deconfliction in Adversarial Environments [6.956559003734227]
無人航空機(UAV)は、強化学習(RL)の脆弱性を利用する敵の攻撃にさらされている。
本稿では,より広範な分布シフトへの適応性を高めるための反フレジブルRLフレームワークを提案する。
より優れた性能を発揮し、短い航法路の長さと衝突のない航法軌道の速度を示す。
論文 参考訳（メタデータ） (2025-06-26T10:06:29Z) - Iterative Amortized Policy Optimization [147.63129234446197]
政策ネットワークは、継続的制御のための深層強化学習(RL)アルゴリズムの中心的な特徴である。
変分推論の観点からは、ポリシーネットワークは、ポリシー分布を直接ではなく、ネットワークパラメータを最適化する、テキスト化最適化の一形態である。
我々は,反復的アモート化ポリシ最適化により,ベンチマーク連続制御タスクの直接アモート化よりも性能が向上することが実証された。
論文 参考訳（メタデータ） (2020-10-20T23:25:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。