論文の概要: RIFT: Closed-Loop RL Fine-Tuning for Realistic and Controllable Traffic Simulation

• arxiv url: http://arxiv.org/abs/2505.03344v1
• Date: Tue, 06 May 2025 09:12:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.301371
• Title: RIFT: Closed-Loop RL Fine-Tuning for Realistic and Controllable Traffic Simulation
• Title（参考訳）: RIFT:リアルかつ制御可能な交通シミュレーションのための閉ループRLファインチューニング
• Authors: Keyu Chen, Wenchao Sun, Hao Cheng, Sifa Zheng,
• Abstract要約: データ駆動シミュレータでオープンループ模倣学習を事前学習し、軌道レベルのリアリズムとマルチモーダリティをキャプチャする2段階AV中心シミュレーションフレームワークを提案する。 微調整の段階では、トラジェクトリレベルの多モード性を保持するシンプルな、かつ効果的な閉ループRL微調整戦略であるRIFTを提案する。 大規模な実験により、RIFTは生成された交通シナリオの現実性と制御性を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 8.952198850855426
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving both realism and controllability in interactive closed-loop traffic simulation remains a key challenge in autonomous driving. Data-driven simulation methods reproduce realistic trajectories but suffer from covariate shift in closed-loop deployment, compounded by simplified dynamics models that further reduce reliability. Conversely, physics-based simulation methods enhance reliable and controllable closed-loop interactions but often lack expert demonstrations, compromising realism. To address these challenges, we introduce a dual-stage AV-centered simulation framework that conducts open-loop imitation learning pre-training in a data-driven simulator to capture trajectory-level realism and multimodality, followed by closed-loop reinforcement learning fine-tuning in a physics-based simulator to enhance controllability and mitigate covariate shift. In the fine-tuning stage, we propose RIFT, a simple yet effective closed-loop RL fine-tuning strategy that preserves the trajectory-level multimodality through a GRPO-style group-relative advantage formulation, while enhancing controllability and training stability by replacing KL regularization with the dual-clip mechanism. Extensive experiments demonstrate that RIFT significantly improves the realism and controllability of generated traffic scenarios, providing a robust platform for evaluating autonomous vehicle performance in diverse and interactive scenarios.
• Abstract（参考訳）: 対話型クローズドループ交通シミュレーションにおけるリアリズムと制御性の両方を達成することは、自動運転における重要な課題である。 データ駆動型シミュレーション手法は、現実的な軌道を再現するが、クローズドループ展開における共変量シフトに悩まされ、信頼性をさらに低下させる単純化されたダイナミクスモデルによって合成される。 逆に、物理学に基づくシミュレーション手法は信頼性と制御可能な閉ループ相互作用を促進するが、しばしば専門家によるデモンストレーションを欠いている。 これらの課題に対処するために、データ駆動シミュレータでオープンループ模倣学習を事前訓練し、軌道レベルのリアリズムとマルチモーダリティをキャプチャし、次いで物理ベースシミュレータでクローズループ強化学習を微調整し、制御性を高め、共変量シフトを緩和する2段階のAV中心シミュレーションフレームワークを導入する。 細調整段階では、簡易で効果的な閉ループRL微調整戦略であるRIFTを提案し、GRPO方式の群相対的利得定式化により軌道レベルの多重度を保ちながら、KL正規化を二重クリップ機構に置き換えることで制御性と訓練安定性を向上する。 大規模な実験により、RIFTは生成された交通シナリオのリアリズムと制御性を大幅に改善し、多様な対話的なシナリオで自律走行車の性能を評価するための堅牢なプラットフォームを提供する。

関連論文リスト

• Safety-Critical Traffic Simulation with Guided Latent Diffusion Model [8.011306318131458]
  安全クリティカルな交通シミュレーションは、自動運転システムを評価する上で重要な役割を果たす。 本稿では,物理的に現実的で逆向きなシナリオを生成可能なガイド付き潜時拡散モデル(LDM)を提案する。 我々の研究は、現実的な安全クリティカルなシナリオシミュレーションのための効果的なツールを提供し、自律運転システムのより堅牢な評価の道を開く。
  論文  参考訳（メタデータ） (2025-05-01T13:33:34Z)
• TeLL-Drive: Enhancing Autonomous Driving with Teacher LLM-Guided Deep Reinforcement Learning [61.33599727106222]
  TeLL-Driveは、Teacher LLMを統合して、注意に基づく学生DRLポリシーをガイドするハイブリッドフレームワークである。 自己維持機構はDRLエージェントの探索とこれらの戦略を融合させ、政策収束を加速し、堅牢性を高める。
  論文  参考訳（メタデータ） (2025-02-03T14:22:03Z)
• Causal Composition Diffusion Model for Closed-loop Traffic Generation [31.52951126032351]
  本稿では,これらの課題に対処するための構造誘導拡散フレームワークであるCausal Compositional Diffusion Model (CCDiff)を紹介する。 まず、制約付き最適化問題として、制御可能で現実的な閉ループシミュレーションの学習を定式化する。 そして、CCDiffは拡散過程に直接因果構造を自動同定し注入することにより、現実主義に固執しながら制御性を最大化する。
  論文  参考訳（メタデータ） (2024-12-23T19:20:29Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Reinforcement Learning with Human Feedback for Realistic Traffic Simulation [53.85002640149283]
  効果的なシミュレーションの鍵となる要素は、人間の知識と整合した現実的な交通モデルの導入である。 本研究では,現実主義に対する人間の嗜好のニュアンスを捉えることと,多様な交通シミュレーションモデルを統合することの2つの主な課題を明らかにする。
  論文  参考訳（メタデータ） (2023-09-01T19:29:53Z)
• TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
  リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。 特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。 TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
  論文  参考訳（メタデータ） (2021-01-17T00:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。