論文の概要: Dreamer-SAC: Off-Policy Learning in Latent World Models for Sample-Efficient Autonomous Driving
- arxiv url: http://arxiv.org/abs/2608.10386v1
- Date: Tue, 11 Aug 2026 02:27:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.867389
- Title: Dreamer-SAC: Off-Policy Learning in Latent World Models for Sample-Efficient Autonomous Driving
- Title（参考訳）: Dreamer-SAC: 自律走行のための潜在世界モデルにおけるオフポリティ学習
- Abstract要約: 本稿では,連続状態空間モデルと非政治ソフトアクター批判アルゴリズムを統合したDreamer-SACフレームワークを提案する。
自動運転のシナリオでは 運転効率と安全性を 考慮して評価します
実験により、ロールアウト地平線と政策パフォーマンスの逆U関係が明らかとなり、短水平ラテントロールアウトは追加のトレーニング信号と累積モデルバイアスの間の最良のトレードオフを達成する。
- 参考スコア（独自算出の注目度）: 8.391716372682316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sample-efficient reinforcement learning for autonomous driving is often limited by the trade-off between data efficiency and model bias. While world models reduce the reliance on costly environment interactions, policy optimization over learned dynamics remains sensitive to prediction errors. This paper proposes the Dreamer-SAC framework, which integrates a recurrent state-space world model with an off-policy soft actor-critic algorithm trained directly in latent space. The framework uses a combination of real interactions and short-horizon generated trajectories with n-step target estimation and multi-objective supervision. Evaluated in autonomous driving scenarios with objectives encompassing driving efficiency and safety, the proposed framework consistently outperforms representative reinforcement learning baselines, including DreamerV3, SAC, and PPO, while achieving improved performance with substantially fewer real environment interactions. Experiments reveal an inverted-U relationship between rollout horizon and policy performance, where short-horizon latent rollouts achieve the best trade-off between additional training signals and accumulated model bias. Furthermore, n-step target estimation demonstrates more effectiveness over one-step temporal-difference targets in exploiting predicted experience for value learning.
- Abstract（参考訳）: 自律運転のためのサンプル効率強化学習は、データ効率とモデルバイアスのトレードオフによって制限されることが多い。
世界モデルはコストのかかる環境相互作用への依存を減らすが、学習力学による政策最適化は予測誤差に敏感である。
本稿では,連続状態空間モデルと非政治ソフトアクター批判アルゴリズムを統合したDreamer-SACフレームワークを提案する。
このフレームワークは、実際の相互作用と、n段階の目標推定と多目的監視を組み合わせた短水平生成軌道の組み合わせを使用する。
運転効率と安全性を目標とした自律運転シナリオの評価において,提案フレームワークは,DreamerV3,SAC,PPOなどの代表的強化学習ベースラインを一貫して上回り,実環境の相互作用を著しく少なくして性能の向上を実現している。
実験により、ロールアウト地平線と政策パフォーマンスの逆U関係が明らかとなり、短水平ラテントロールアウトは追加のトレーニング信号と累積モデルバイアスの間の最良のトレードオフを達成する。
さらに,n段階の目標推定は,1段階の時間差目標よりも,予測された経験を価値学習に活用できることを示す。
関連論文リスト
- IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。
IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。
政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
論文 参考訳（メタデータ） (2026-08-11T08:20:02Z) - World Models as Adversaries: Multi-Agent Self-Play Fine-Tuning for Robust Motion Planning [60.88859946006306]
Adversa World Modeling(英語版)は理論上基礎を成すマルチエージェント・セルフプレイ・ファインチューニングフレームワークである。
内的最小化においては、プランナーの予測世界モデルは、スパースでシーン適応的なアタック・アタック・アライアンスを学ぶロール条件の敵に変換される。
nuPlan と InterPlan のベンチマーク実験により,本手法が伝達可能な対角相互作用を生成することを示す。
論文 参考訳（メタデータ） (2026-07-12T07:44:16Z) - Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。
本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。
人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
論文 参考訳（メタデータ） (2026-07-01T08:41:49Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - Learning the Pareto Space of Multi-Objective Autonomous Driving: A Modular, Data-Driven Approach [0.0]
本研究では,自然主義的軌道データから直接トレードオフを導出する経験的学習フレームワークを提案する。
統一された客観空間は、安全、効率、相互作用の複合スコアを通して各AVタイムステップを表す。
論文 参考訳（メタデータ） (2026-01-26T19:23:41Z) - Predictive Planner for Autonomous Driving with Consistency Models [5.966385886363771]
軌道予測と計画は、自動運転車が動的環境下で安全かつ効率的に走行するために不可欠である。
近年の拡散型生成モデルはマルチエージェント軌道生成において有望であるが,その遅いサンプリングは高周波計画タスクには適さない。
我々は,エゴ車両の航法目標に基づいて,エゴと周辺エージェントの共同分布からサンプルを採取する予測プランナを構築するために,一貫性モデルを活用する。
論文 参考訳（メタデータ） (2025-02-12T00:26:01Z) - Towards Human-Like Driving: Active Inference in Autonomous Vehicle Control [0.5437298646956507]
本稿では,アクティブ推論の適用を通じて,自律走行車(AV)制御への新たなアプローチを提案する。
アクティブ推論(英: Active Inference)は、脳を予測機械として概念化する神経科学に由来する理論である。
提案手法は,深層学習と能動推論を統合してAVの側方制御を制御し,シミュレーション都市環境下で車線追従操作を行う。
論文 参考訳（メタデータ） (2024-07-10T14:08:27Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-03-27T02:55:56Z) - When Demonstrations Meet Generative World Models: A Maximum Likelihood
Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。
タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
論文 参考訳（メタデータ） (2023-02-15T04:14:20Z) - Imitation Learning by State-Only Distribution Matching [2.580765958706854]
観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。
本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
論文 参考訳（メタデータ） (2022-02-09T08:38:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。