論文の概要: Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2610.13453v1
• Date: Fri, 09 Oct 2026 11:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.557918
• Title: Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving
• Title（参考訳）: Reflect-VLA: 自律運転のためのデュアルパスオンポーシィ自己蒸留による反射誘導
• Abstract要約: 強化学習(RL)は、自律走行型ビジョンランゲージ・アクション(VLA)モデルの計画性能を大幅に改善する。 本稿では,リフレクティブガイダンスを訓練時特権情報として扱うリフレクティブVLAを提案する。 Dual-OPSDは、学生が生成した軌跡をルートするだけに駆動スコアを使用する。
• 参考スコア（独自算出の注目度）: 22.70916741689786
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) substantially improves planning performance in autonomous-driving Vision-Language-Action (VLA) models. However, existing RL methods rely on scalar trajectory rewards that measure overall quality but fail to identify specific planning errors or provide actionable correction signals. In long-tail scenarios, errors in scene understanding, behavior selection, and trajectory execution are compressed into a single score. We observe that Reflective Guidance turns trajectory evaluation into explicit diagnoses and corrective instructions, substantially improving planning accuracy. Yet such guidance requires an initial prediction and its evaluation results, making it unavailable for direct single-pass inference. We propose Reflect-VLA, which treats Reflective Guidance as training-time privileged information and internalizes its planning benefits through Dual-Path On-Policy Self-Distillation (Dual-OPSD). Unlike scalar-reward optimization, Dual-OPSD uses the driving score only to route student-generated trajectories. It distills dense token-level corrective distributions from the teacher for risky trajectories while applying self-imitation to preserve reliable ones. To provide reliable corrective distributions on student rollouts, the teacher is progressively constructed through Driving-Knowledge Pretraining, Planning-and-Refinement SFT, and Self-Refinement Rejection Sampling. At inference time, Reflect-VLA generates trajectories in a single pass without explicit guidance or iterative refinement. Experiments on NAVSIM v1/v2 and Bench2Drive demonstrate competitive planning performance while reducing training time by over 90% compared with RL.
• Abstract（参考訳）: 強化学習(RL)は、自律走行型ビジョンランゲージ・アクション(VLA)モデルの計画性能を大幅に改善する。 しかし、既存のRL法は、全体的な品質を計測するが、特定の計画誤差を特定したり、動作可能な補正信号を提供するのに失敗するスカラー軌道報酬に依存している。 ロングテールシナリオでは、シーン理解、行動選択、軌道実行におけるエラーを1つのスコアに圧縮する。 我々は,反射誘導が軌道評価を明示的な診断と修正指示に変え,計画精度を大幅に向上させることを観察した。 しかし、そのようなガイダンスには初期予測とその評価結果が必要であるため、直接シングルパス推論では利用できない。 本稿では、リフレクティブガイダンスを訓練時特権情報として扱い、デュアルパス・オン・ポリティ・セルフ蒸留(Dual-OPSD)を通じて計画上のメリットを内部化するリフレクティブVLAを提案する。 スカラー・リワード最適化とは異なり、Dual-OPSDは学生が生成した軌跡をルーティングするためにのみ駆動スコアを使用する。 教師から高濃度のトークンレベルの補正分布を蒸留し、信頼性を保つために自己シミュレーションを適用する。 学生のロールアウトに対する信頼性の高い修正分布を提供することを目的として、運転知識事前学習、計画・修正SFT、自己修正拒否サンプリングを通じて、段階的に構成する。 推測時には、リフレクション-VLAは明示的なガイダンスや反復的な改善なしに、1回のパスで軌道を生成する。 NAVSIM v1/v2とBench2Driveの実験は、RLと比較してトレーニング時間を90%以上削減しながら、競合する計画性能を示した。

関連論文リスト

• Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
  オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。 我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。 その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。 本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T09:13:27Z)
• RefineDrive: Reliable Failure-Guided Learning for Vision-Language-Action Driving [16.68571039427634]
  自動運転のためのビジョンランゲージ・アクション(VLA)モデルは、専門家によるデモンストレーションの成功に大きく依存している。 これらの失敗から学ぶことは、信頼性の低い診断、不一致の修正ターゲット、粗い報酬によって妨げられる。 本稿では、自己生成障害から学習する、障害誘導後トレーニングフレームワークRefineDriveを提案する。
  論文  参考訳（メタデータ） (2026-09-28T13:01:25Z)
• Learning from Your Own Mistakes: Constructing Learnable Micro-Reflective Trajectories for Self-Distillation [14.043179860831406]
  自己蒸留は、モデルのロールアウトをトレーニング信号として使用することにより、大規模言語モデルの推論を改善する。 本稿では,暗黙的な分布アライメントから明示的な軌跡構築まで,自己蒸留を推し進めるTrajectory-Augmented Policy Optimization (TAPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-17T09:24:19Z)
• EvoDriveVLA: Evolving Autonomous Driving Vision-Language-Action Model via Collaborative Perception-Planning Distillation [58.84721000276226]
  EvoDriveVLAは、新しい協調認識計画フレームワークである。 自己認識の知覚的制約とオラクル誘導軌道最適化を統合している。 EvoDriveVLAはオープンループ評価におけるSOTA性能を実現し,クローズドループ評価における性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2026-03-10T10:19:07Z)
• Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures [14.313346858887286]
  自律走行のためのVLA(Vision-Language-Action)モデルは、強化学習(Reinforcement Learning、RL)最適化時にしばしばパフォーマンス高原に到達する。 この停滞は、以前のスーパービジョン・ファインチューニング(SFT)によって制約された探査能力から生じる。 構造化された診断フィードバックでRLを増強するフレームワークであるELF-VLA(Explicit Learning from Failures)を提案する。
  論文  参考訳（メタデータ） (2026-03-01T11:41:22Z)
• Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
  この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。 CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。 大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
  論文  参考訳（メタデータ） (2025-12-30T19:04:17Z)
• DeeAD: Dynamic Early Exit of Vision-Language Action for Efficient Autonomous Driving [20.235153433297384]
  Vision-Language Action (VLA) は、認識、推論、軌道生成を自律運転に統一するが、深いトランスフォーマースタックによる大きな推論遅延に悩まされる。 トレーニング不要で行動誘導型早期退避型フレームワークであるDeeADについて,中間軌道の物理的実現可能性を評価することにより,VLA計画の高速化を図る。 Bench2Driveベンチマークの実験では、計画品質と安全性を保ちながら、28%のトランスフォーマー層幅と29%のレイテンシ削減が示されている。
  論文  参考訳（メタデータ） (2025-11-25T07:00:26Z)
• Human-in-the-loop Online Rejection Sampling for Robotic Manipulation [55.99788088622936]
  Hi-ORSは、オンライン微調整中に負の報酬を得たサンプルをフィルタリングすることで、値推定を安定化する。 Hi-ORSは、わずか1.5時間でコンタクトリッチな操作をマスターするためのpiベースのポリシーを微調整する。
  論文  参考訳（メタデータ） (2025-10-30T11:53:08Z)
• Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning [125.61772424068903]
  視覚言語ナビゲーション(VLN)は、エージェントに与えられた言語命令に従って実際の3D環境をナビゲートするように要求する。 本稿では,既存のVLNエージェントの一般化能力を高めるために,PROPER(Progressive Perturbation-aware Contrastive Learning)と呼ばれるモデルに依存しない学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-03-09T02:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。