論文の概要: Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving

• arxiv url: http://arxiv.org/abs/2609.25831v1
• Date: Tue, 22 Sep 2026 07:58:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.277523
• Title: Sometimes You Gotta Run Before You Can Walk: Run-then-Walk Scheduling Strategy for VLM Autonomous Driving
• Title（参考訳）: VLM自動運転のためのラン・ザ・ウォーク・スケジューリング・ストラテジー
• Abstract要約: VLMベースの自動運転プランナーはGRPOスタイルの強化学習を採用し、性能を最適化する。 本稿では,GRPO の2段階報酬スケジューリング戦略である $textitRun-then-Walk$ を提案する。 実験では、ベースラインよりも40-50%少ないRLトレーニングエポックを必要としながら、駆動性能が向上した。
• 参考スコア（独自算出の注目度）: 37.67450594007132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent VLM-based autonomous driving planners adopt GRPO-style reinforcement learning to optimize driving performance. However, existing GRPO recipes either optimize driving efficiency, risking progress-seeking but unsafe behavior, or enforce early safety constraints, leading to overly conservative behavior; both require lengthy training. To solve these problems, we first reveal two distinct RL regimes: a progress regime (Run-GRPO) that aggressively explores high progress, and a safety regime (Walk-GRPO) that restores safety under stable progress. Based on this finding, we propose $\textit{Run-then-Walk}$, a simple yet effective two-stage reward scheduling strategy for GRPO, achieving both better performance and faster convergence. Unlike one-stage RL, which may focus on progress, safety, or a mixture of both within a single training phase, this schedule explicitly separates progress discovery from safety repair. In the $\textit{Run}$ phase, we focus on progress, allowing the policy to escape the conservative bias and discover high-progress modes. In the subsequent $\textit{Walk}$ phase, we introduce endpoint and safety strategy to repair unsafe behaviors from the Run phase. This reversed schedule overcomes the conservatism of Walk-first methods and the unsafe progress-seeking of joint optimization. We validate it with various VLM-based planners on multiple benchmarks: NAVSIMv1, NAVSIMv2, Navhard, and nuScenes. Extensive experiments demonstrate improved driving performance while requiring 40--50\% fewer RL training epochs than the baselines.
• Abstract（参考訳）: 最近のVLMベースの自動運転プランナは、運転性能を最適化するためにGRPOスタイルの強化学習を採用している。 しかし、既存のGRPOレシピは、運転効率を最適化し、進捗の監視を危険にさらすか、早期の安全上の制約を課すか、保守的な振る舞いを過度に行なわなければならない。 これらの問題を解決するために、我々はまず、高い進捗を積極的に探求する進歩体制(Run-GRPO)と、安定した進行の下で安全を回復する安全体制(Walk-GRPO)の2つの異なるRL体制を明らかにした。 そこで本研究では,GRPO のための単純な2段階報酬スケジューリング手法である $\textit{Run-then-Walk}$ を提案する。 1段階のRLは1つの訓練段階内で進行、安全性、または両者の混合に焦点を当てる可能性があるが、このスケジュールは、進捗発見を安全修復から明確に分離する。 $\textit{Run}$フェーズでは、プログレッシブに集中し、ポリシーが保守的なバイアスから逃れて、ハイプログレッシブモードを発見することができる。 次の$\textit{Walk}$フェーズでは、Runフェーズから安全でない振る舞いを修復するためのエンドポイントと安全性戦略を導入します。 この逆スケジュールは、ウォークファースト法の保守性と、共同最適化の不安全な進捗探索を克服する。 NAVSIMv1, NAVSIMv2, Navhard, nuScenesの複数のベンチマークで, VLMベースのプランナで検証した。 大規模な実験では、ベースラインよりも40～50倍のRLトレーニングエポックを必要としながら、駆動性能が向上した。

関連論文リスト

• SLowRL: Safe Low-Rank Adaptation Reinforcement Learning for Locomotion [16.763723249971793]
  SLowRLはローランド適応(LoRA)とリカバリポリシによるトレーニング時間安全対策を組み合わせたフレームワークである。 実験結果から,本手法は微調整時間とほぼゼロの安全違反を4,6.5%削減できることがわかった。
  論文  参考訳（メタデータ） (2026-03-17T19:26:48Z)
• Anticipatory Planning for Multimodal AI Agents [77.62643381558613]
  予測推論を明示的に訓練する2段階強化学習フレームワークであるTraceR1を紹介する。 TraceR1は、オンラインコンピュータ使用、オフラインコンピュータ使用ベンチマーク、マルチモーダルツール使用推論タスクを含む、7つのベンチマークで評価されている。 以上の結果から,予測軌道推論は,複雑な実環境において効果的に推論,計画,行動が可能なマルチモーダルエージェント構築の鍵となる原理であることが示唆された。
  論文  参考訳（メタデータ） (2026-03-17T16:55:11Z)
• ADV-0: Closed-Loop Min-Max Adversarial Training for Long-Tail Robustness in Autonomous Driving [63.980630608984605]
  本稿では、ゼロサムマルコフゲームとして、駆動ポリシー(ディフェンダー)と敵エージェント(アタックラー)の相互作用を扱うクローズドループのmin-max最適化フレームワークであるADV-0を提案する。 これを実現するため,我々は動的敵の進化を反復的な選好学習とし,この最適性を効率的に近似し,アルゴリズムに依存しない解をゲームに提供する。 実験により、多様な安全クリティカルな障害を効果的に露呈し、学習方針と運動プランナーの両方の一般化可能性を大幅に向上させることが示されている。
  論文  参考訳（メタデータ） (2026-03-16T12:58:31Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Plan-R1: Safe and Feasible Trajectory Planning as Language Modeling [74.41886258801209]
  本稿では,行動学習から原理的アライメントを分離する2段階の軌道計画フレームワークを提案する。 Plan-R1は計画の安全性と実現可能性を大幅に改善し、最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-05-23T09:22:19Z)
• Recursive Deep Inverse Reinforcement Learning [18.7556524851806]
  対向計画や非協調型マルチエージェントシステムにおいては,相手の行動から相手の目標を推定することが重要である。 本稿では, 対向行動と目標を管理する費用関数を復元するオンライン逆強化学習(RDIRL)手法を提案する。
  論文  参考訳（メタデータ） (2025-04-17T17:39:35Z)
• Safe Multi-Agent Navigation guided by Goal-Conditioned Safe Reinforcement Learning [2.082168997977094]
  計画と安全RLの双方の長所を統合する新しい手法を提案する。 提案手法は安全でないエッジを抽出し,エージェントが目標に到達するまで追従するウェイポイントベースのプランを生成する。 特に、Conflict-Based Search (CBS)を活用して、複数のエージェントのためのウェイポイントベースのプランを作成し、拡張された地平線上の安全なナビゲーションを可能にします。
  論文  参考訳（メタデータ） (2025-02-25T03:38:52Z)
• Safe Policy Exploration Improvement via Subgoals [44.07721205323709]
  強化学習(Reinforcement learning)は、自律ナビゲーションにおいて広く使われているアプローチであり、様々なタスクやロボットのセットアップの可能性を示している。 このようなセットアップでパフォーマンスが低かった理由の1つは、安全制約を尊重する必要性がRLエージェントの探索能力を低下させることである。 本稿では,初期問題を中間目標を介し,より小さなサブプロブレムに分解する新しい学習可能アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-25T16:12:49Z)
• Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
  自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。 SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
  論文  参考訳（メタデータ） (2021-06-10T06:29:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。