論文の概要: Learning from Mistakes: Rollout-Retrieval Lifelong Policy Learning for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2606.30537v1
- Date: Mon, 29 Jun 2026 16:37:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.33484
- Title: Learning from Mistakes: Rollout-Retrieval Lifelong Policy Learning for Autonomous Driving
- Title（参考訳）: 誤解からの学習: 自律運転のためのロールアウト型生涯政策学習
- Abstract要約: 本稿では,生涯学習の観点から自律運転政策の改善について考察する。
本稿では,リカバリ可能な政策誘導ミスから是正対象を抽出する政策学習フレームワークであるロールアウト・リトリーバル・ライフロング・ポリシー・ラーニング(R$2$LPL)を提案する。
R$2$LPL を大規模閉ループ nuPlan ベンチマークで評価する。
- 参考スコア（独自算出の注目度）: 18.991437941136876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving policies should be able to improve continually as deployment exposes them to increasingly diverse and long-tail traffic situations. However, most learning-based policies are trained or fine-tuned on expert demonstrations and then rely largely on generalization to handle challenging closed-loop scenarios, lacking an explicit mechanism to correct and retain the mistakes exposed in these scenarios. This paper studies autonomous driving policy improvement from a lifelong learning perspective: Can a pretrained policy improve continually by accumulating corrective knowledge derived from its own mistakes, while retaining previously acquired driving competence? To answer this question, we propose Rollout-Retrieval Lifelong Policy Learning (R$^2$LPL), a policy learning framework that retrieves corrective targets from recoverable policy-induced mistakes and retains the resulting knowledge through lifelong policy learning. R^2LPL addresses a key bottleneck in continual policy improvement: closed-loop mistakes reveal where the policy is weak, but do not directly specify what the policy should learn. By filtering recoverable mistake-related states and retrieving feasible corrective targets, R$^2$LPL turns sparse failure evidence into compact supervised knowledge for stable and sample-efficient policy improvement. We evaluate R$^2$LPL on large-scale closed-loop nuPlan benchmarks. With only a few rollout and continual-learning cycles, R$^2$LPL elevates a learning-based planner with moderate initial performance to state-of-the-art performance across the evaluated benchmarks, especially on the challenging and long-tail Test14-hard split. These results demonstrate the effectiveness of R$^2$LPL in converting recoverable closed-loop mistakes into corrective knowledge for sustained policy improvement.
- Abstract（参考訳）: 自律運転ポリシーは、展開がますます多様で長い交通状況に晒されるため、継続的な改善を可能にするべきである。
しかし、ほとんどの学習ベースのポリシーは専門家のデモンストレーションに基づいて訓練または微調整され、その後、問題のクローズドループシナリオに対処するための一般化に大きく依存し、これらのシナリオで明らかになった誤りを修正および維持するための明確なメカニズムが欠如している。
本稿では、生涯学習の観点から自律運転政策の改善を考察する:事前訓練された政策は、以前取得した運転能力を維持しつつ、自己の誤りから得られた補正知識を蓄積することにより、継続的に改善できるか?
この疑問に答えるために、我々は、回復可能な政策誘導ミスから是正目標を回収し、生涯にわたる政策学習を通じて得られた知識を保持する政策学習フレームワークであるロールアウト・リトリーバル・ライフロング・ポリシー・ラーニング(R$^2$LPL)を提案する。
R^2LPLは、継続的な政策改善における重要なボトルネックに対処する。
R$^2$LPLは、復元可能な誤り関連状態をフィルタリングし、有効な修正対象を抽出することにより、スパース障害証拠を安定かつサンプル効率の良い政策改善のためのコンパクトな教師付き知識に変換する。
大規模閉ループ nuPlan ベンチマークにおいて R$^2$LPL を評価する。
ロールアウトと継続的学習サイクルはわずかだが、R$^2$LPLは、評価されたベンチマーク、特に挑戦的で長い尾のTest14-hard分割において、適度な初期パフォーマンスと最先端のパフォーマンスを備えた学習ベースのプランナを上昇させる。
これらの結果は、リカバリ可能な閉ループ誤りを持続的政策改善のための補正知識に変換する上で、R$^2$LPLの有効性を示す。
関連論文リスト
- PATS: Policy-Aware Training Scaffolding for Agentic Reinforcement Learning [8.197606162420145]
ダイナミックトレーニングの足場としてスキルを再構築する,ポリシ中心のトレーニングパラダイムを提案する。
当社のフレームワークPATSは,最新のポリシーからエビデンスカードにロールアウトグループを変換し,タスク固有の評価を用いて,その後のロールアウトで使用されるコンテキストを調整する。
論文 参考訳（メタデータ） (2026-07-23T15:24:35Z) - LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。
最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。
この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
論文 参考訳（メタデータ） (2026-07-05T17:05:13Z) - FAR: Failure-Aware Retry for Test-Time Recovery and Continual Policy Improvement [10.94594187411586]
フェール・アウェア・リトライ(FAR)は、ロボットがテスト時に以前の失敗から学び、その振る舞いを順応し、最終的にタスクを自律的に完了させることを可能にするフレームワークである。
FARは成功率とロバスト性を大幅に改善し、シミュレーションにおける標準拡散政策よりも平均17.6%、現実世界では11.7%向上した。
論文 参考訳（メタデータ） (2026-07-01T16:01:54Z) - Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。
テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。
実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
論文 参考訳（メタデータ） (2026-06-09T16:45:57Z) - Robust Regularized Policy Iteration under Transition Uncertainty [6.7431287237221085]
我々は、オフラインRLをロバストなポリシー最適化として定式化し、遷移カーネルを不確実性集合内の決定変数として扱う。
本稿では、抽出可能な最大最小二レベル目標を、抽出可能なKL正規化サロゲートに置き換えるロバスト正規化ポリシーイテレーション(RRPI)を提案する。
D4RLベンチマークの実験では、RRPIは高い平均性能を示し、最近のベースラインを上回っている。
論文 参考訳（メタデータ） (2026-03-10T08:18:27Z) - When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering [10.01278648231868]
ポリシーステアリングは、デプロイ時にロボットの振る舞いを適用する新しい方法です。
VLM(Vision-Language Models)は、それらの推論能力のために、汎用的な検証を約束する。
セマンティックタスクの不確実性と低レベルのアクション実現可能性について共同で理由づけるフレームワークである不確実性対応型ポリシーステアリング(UPS)を提案する。
論文 参考訳（メタデータ） (2026-02-25T23:23:22Z) - A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。
トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。
我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文 参考訳（メタデータ） (2026-01-30T08:47:19Z) - Improving Policy Exploitation in Online Reinforcement Learning with Instant Retrospect Action [10.983482150597913]
既存の価値に基づくオンライン強化学習(RL)アルゴリズムは、非効率な探索と遅れたポリシー更新によって、ポリシーの活用が遅くなる。
本稿では,これらの課題に対処するため,IRA(Instant Retrospect Action)と呼ばれるアルゴリズムを提案する。
IRAは8つのMuJoCo連続制御タスクにおけるオンラインRLアルゴリズムの学習効率と最終的なパフォーマンスを大幅に向上させることができる。
論文 参考訳（メタデータ） (2026-01-27T15:43:02Z) - Offline Reinforcement Learning with On-Policy Q-Function Regularization [57.09073809901382]
ヒストリーデータセットと所望のポリシー間の分布シフトによって引き起こされる(潜在的に破滅的な)外挿誤差に対処する。
正規化により推定Q-関数を利用する2つのアルゴリズムを提案し、D4RLベンチマークに強い性能を示すことを示す。
論文 参考訳（メタデータ） (2023-07-25T21:38:08Z) - Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。
本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。
この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
論文 参考訳（メタデータ） (2021-10-12T17:05:05Z) - Simplifying Deep Reinforcement Learning via Self-Supervision [51.2400839966489]
自己改善強化学習(Self-Supervised Reinforcement Learning, SSRL)は、純粋に監督された損失を伴うポリシーを最適化する単純なアルゴリズムである。
SSRLは、より安定した性能と実行時間の少ない現代アルゴリズムと驚くほど競合することを示す。
論文 参考訳（メタデータ） (2021-06-10T06:29:59Z) - BRPO: Batch Residual Policy Optimization [79.53696635382592]
バッチ強化学習では、学習したポリシーが行動(データ生成)ポリシーに近いように制約されることがよくある。
本稿では,学習方針の逸脱が国家の行動に依存した残留政策を提案する。
我々は,ポリシーと許容偏差の両方を学習し,政策性能の低い境界を共同で最大化する新しいRL法BRPOを導出する。
論文 参考訳（メタデータ） (2020-02-08T01:59:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。