論文の概要: CounterPlay: Counterfactual Post-Training for Self-Play Driving Policies

• arxiv url: http://arxiv.org/abs/2609.21617v1
• Date: Fri, 18 Sep 2026 11:00:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.027374
• Title: CounterPlay: Counterfactual Post-Training for Self-Play Driving Policies
• Title（参考訳）: CounterPlay: セルフプレイ・ドライビング・ポリシーの非現実的ポストトライニング
• Abstract要約: 本稿では,反実的自己学習型ポストトレーニング手法であるCounterPlayを提案する。 CounterPlayは失敗したタスクからバックトラックを取得し、別のドライブスタイルでリトライする。 BehaviorBenchでは、CounterPlayはInteractiveとRandomの2つの分割で最先端のスコアを得る。
• 参考スコア（独自算出の注目度）: 16.371893719042827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-play in high-throughput simulators yields driving policies with robust closed-loop performance, but improvement per unit of simulation diminishes as training scales. Policies learn to handle common situations early, while further rollouts repeatedly encounter unresolved failures. Post-training offers an opportunity to target these failures, but existing methods primarily evaluate alternative actions or continuations at visited states, although successful recovery may require changing driving style earlier. We propose CounterPlay, a counterfactual self-play post-training approach that backtracks from failed tasks and retries them under alternate driving styles. CounterPlay rests on three key components. First, failure-driven backtracking uses the policy's value estimates to select an earlier stored state from which to retry the task. Second, reward conditioning enables a single policy to retry the task from this state using candidate styles ranging from cautious to aggressive. Third, CounterPlay retains task-completing retries only if no other vehicle incurs a new or earlier collision or off-road event relative to the factual branch. Retries that pass verification with fresh randomness are then distilled into the policy under its deployment condition. On BehaviorBench, CounterPlay achieves state-of-the-art scores on both the Interactive and Random splits across all eight traffic regimes using 1B post-training transitions, which is just 1% of the anchor's 100B self-play training budget. Improvements over the anchor hold across all three evaluated driving styles. CounterPlay resolves a substantial fraction of the anchor's timeout cases on BehaviorBench and achieves a balance between task completion and safety that neither continued self-play nor adopting a more aggressive driving style attains.
• Abstract（参考訳）: 高スループットシミュレータにおけるセルフプレイは、堅牢なクローズドループ性能を持つ駆動ポリシーをもたらすが、トレーニングスケールが大きくなるにつれてシミュレーション単位あたりの改善は減少する。 ポリシは、一般的な状況を早期に処理することを学ぶ一方で、さらなるロールアウトは、未解決の障害に何度も遭遇する。 ポストトレーニングはこれらの障害をターゲットにする機会を提供するが、既存の手法は主に訪問した州での代替行動や継続を評価する。 提案するCounterPlayは,フェールしたタスクからバックトラックし,代替の運転スタイルで再試行する,対実的なセルフプレイポストトレーニング手法である。 CounterPlayは3つの重要なコンポーネントに依存します。 第一に、障害駆動のバックトラックはポリシーの値見積を使用して、タスクを再試行する以前の状態を選択する。 第2に、報酬条件付けは、慎重から攻撃的な候補スタイルを使用して、この状態からタスクを再試行するための単一のポリシーを可能にする。 第3に、CounterPlayは、他の車両がファクトブランチに対して新規または早期の衝突またはオフロードイベントを発生しない場合にのみ、タスク補完リトライを保持する。 新鮮なランダム性を持つ検証をパスしたリトライは、そのデプロイ条件の下でポリシーに蒸留される。 BehaviorBenchでは、CounterPlayは、InteractiveとRandomの両方で、100Bのセルフプレイトレーニング予算のわずか1%の1Bポストトレーニングトランジションを使用して、すべての8つのトラフィックレギュレーションにまたがる最先端のスコアを達成している。 アンカーに対する改良は3つの評価された運転スタイルにまたがる。 CounterPlayは、BehaviorBenchにおけるアンカーのタイムアウトケースのかなりの部分を解決し、タスクの完了と安全性のバランスを達成します。

関連論文リスト

• A Closed-Loop Evaluation of Capability Loss and Recovery in Compressed Driving Policies [0.8602553195689513]
  プルーニング、知識蒸留、量子化は、学習した駆動政策のサイズと推論コストを減らすための標準的な方法である。 圧縮パイプラインを通した運転ポリシーに従う段階的な閉ループ評価手法を提案する。
  論文  参考訳（メタデータ） (2026-09-01T04:50:17Z)
• AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies [4.786936073180585]
  アクションチャンキングビズモータポリシは、デモから学び、時間的一貫性を改善する。 デプロイ中にアクションチャンキングポリシーとオペレータ間で制御を選択的に転送するオンラインフレームワークであるAutoInterveneを提案する。
  論文  参考訳（メタデータ） (2026-08-07T10:14:29Z)
• SC3-Eval: Evaluating Robot Foundation Models via Self-Consistent Video Generation [73.2142090645987]
  SC3-Evalは、事前訓練されたビデオ基盤モデルを正確なポリシー評価器に適合させる自己一貫性のあるビデオ生成レシピである。 SC3-Evalロールアウトは、実世界のロールアウトでポリシーが示す障害モードを再現し、詳細な診断比較をサポートする。
  論文  参考訳（メタデータ） (2026-06-17T02:15:46Z)
• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• Can Agents Run Relay Race with Strangers? Generalization of RL to Out-of-Distribution Trajectories [88.08381083207449]
  異種エージェントの制御可能な状態に対する一般化失敗の有病率を示す。 本稿では,学習中のQ関数に従って環境をエージェントの旧状態にリセットする,STA(Self-Trajectory Augmentation)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-26T10:12:12Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Learning from Simulation, Racing in Reality [126.56346065780895]
  ミニチュアレースカープラットフォーム上で自律的なレースを行うための強化学習ベースのソリューションを提案する。 シミュレーションで純粋に訓練されたポリシーは、実際のロボットのセットアップにうまく移行できることを示す。
  論文  参考訳（メタデータ） (2020-11-26T14:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。