論文の概要: OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher

• arxiv url: http://arxiv.org/abs/2609.20756v1
• Date: Thu, 17 Sep 2026 17:41:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.406804
• Title: OPTED: On-Policy Fine-Tuning for End-to-End Driving using a Render-Free Teacher
• Title（参考訳）: OPTED:レンダーフリー教師を用いたエンドツーエンド運転のためのオンラインファインチューニング
• Abstract要約: エンド・ツー・エンドの運転ポリシーはオープンループで事前訓練される。 クローズドループのポストトレーニングはこのリスクを軽減することができるが、センサーベースのポリシーにはコストのかかるシミュレーションが必要である。 エンドツーエンド政策のポストトレーニングから強化学習を分離するOPTEDを提案する。
• 参考スコア（独自算出の注目度）: 61.49002396968246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As scaling pre-training data alone yields diminishing returns, post-training is becoming increasingly important across physical AI domains such as autonomous driving. End-to-end driving policies are pre-trained in open loop with behavior cloning on human demonstrations. However, compounding errors during closed-loop deployment can take the vehicle outside the training data distribution, increasing the risk of safety-critical incidents. Closed-loop post-training can mitigate this risk but requires costly simulation for sensor-based policies. We propose OPTED (on-policy fine-tuning for end-to-end driving) which decouples reinforcement learning from the post-training of the end-to-end policy: a privileged teacher is trained using RL on vectorized inputs (HD-map and bounding boxes). This teacher then provides supervision to the pre-trained student during closed-loop post-training. We apply OPTED to two camera-based models, TransFuser and VaVAM, and fine-tune them in AlpaSim, using neural reconstructions (3DGS) of real driving logs. Driving scores increase by factors of 1.6$\times$ and 9.5$\times$, respectively. In controlled experiments OPTED matches closed-loop performance with approximately three orders of magnitude fewer simulator interactions than direct RL post-training, while staying closer to the human prior. Project page: https://01dami23.github.io/opted/
• Abstract（参考訳）: 事前トレーニングデータのスケーリングだけでリターンが減少するにつれて、自律運転のような物理的なAIドメインにおいて、ポストトレーニングがますます重要になっている。 エンド・ツー・エンドの運転ポリシーはオープンループで事前訓練され、人間のデモで行動クローンが実行される。 しかし、クローズドループ展開中の複合的なエラーは、車両をトレーニングデータ配布の外部に持って行き、安全クリティカルな事故のリスクを増大させる。 クローズドループのポストトレーニングはこのリスクを軽減することができるが、センサーベースのポリシーにはコストのかかるシミュレーションが必要である。 終末ポリシーの訓練後から強化学習を分離するOPTED(on-policy fine-tuning for end-to-end driving)を提案する。 この教師は、閉ループのポストトレーニング中に事前訓練された学生に監督を提供する。 OPTEDをTransFuserとVaVAMの2つのカメラベースモデルに適用し、実際の運転ログのニューラル再構成(3DGS)を用いて、AlpaSimでそれらを微調整する。 ドライビングスコアはそれぞれ1.6$\times$と9.5$\times$である。 制御された実験では、OPTEDは閉ループ性能に一致し、人間に近づきながら、直接RLのポストトレーニングよりも約3桁少ないシミュレータの相互作用を抑えた。 プロジェクトページ: https://01dami23.github.io/opted/

関連論文リスト

• GSDrive: Reinforcing Driving Policies by Multi-mode Trajectory Probing with 3D Gaussian Splatting Environment [6.425301529118419]
  E2E(End-to-end autonomous driving)は、知覚入力を直接駆動動作に変換するための有望なアプローチである。 GSDriveは,E2E駆動ポリシーの改善において,3次元ガウシアンスプラッティング(3DGS)を微分可能な物理ベースの報酬形成に活用するフレームワークである。
  論文  参考訳（メタデータ） (2026-04-30T16:59:07Z)
• RoaD: Rollouts as Demonstrations for Closed-Loop Supervised Fine-Tuning of Autonomous Driving Policies [30.632104005565832]
  ロールアウト・アズ・デモレーション(RoaD)は、クローズドループにおける自律運転ポリシーのトレーニングにおいて、共変量シフトを軽減する方法である。 ロールアウト生成の間、RoaDは高品質な振る舞いに対するバイアス軌道に関する専門家のガイダンスを取り入れ、微調整のための情報的かつ現実的なデモンストレーションを生み出した。 本稿では,大規模な交通シミュレーションベンチマークであるWOSACにおけるRoaDの有効性を示す。
  論文  参考訳（メタデータ） (2025-12-01T18:52:03Z)
• RAD: Training an End-to-End Driving Policy via Large-Scale 3DGS-based Reinforcement Learning [54.52545900359868]
  3DGSをベースとしたエンドツーエンド自動運転のためのクローズドループ強化学習フレームワークRADを提案する。 安全性を高めるため、我々は、安全クリティカルな事象に効果的に対応し、現実世界の因果関係を理解するために、政策の指針となる特別報酬を設計する。 IL法と比較して、RADは閉ループのほとんどの測定値において、特に3倍の衝突速度を示す。
  論文  参考訳（メタデータ） (2025-02-18T18:59:21Z)
• Mitigating Covariate Shift in Imitation Learning for Autonomous Vehicles Using Latent Space Generative World Models [60.87795376541144]
  World Model(ワールドモデル)は、エージェントの次の状態を予測できるニューラルネットワークである。 エンド・ツー・エンドのトレーニングでは、人間のデモで観察された状態と整合してエラーから回復する方法を学ぶ。 クローズドループ試験における先行技術に有意な改善がみられた定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-09-25T06:48:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。