論文の概要: DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control
- arxiv url: http://arxiv.org/abs/2610.31617v1
- Date: Thu, 22 Oct 2026 17:41:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.501541
- Title: DiffDreamer: Coupling World Models with Differentiable Simulation for Agile Quadrotor Control
- Title（参考訳）: DiffDreamer: アジャイル四脚制御のための異なるシミュレーションで世界モデルを結合する
- Abstract要約: DiffDreamerは、アクター最適化のための微分可能なシミュレーションで学習された世界モデルを密結合する、微分可能な強化学習フレームワークである。
ある最適化ステップでは、学習された世界モデルは、外部ダイナミクスと履歴に依存した特徴をキャプチャする潜在状態を伝播し、識別可能なシミュレータはロボットの明示的な物理的状態を伝搬する。
積極的追跡と動的ゲートレースの実験から、DiffDreamerはモデルフリー、モデルベース、微分可能なRLベースラインに対するトレーニング収束を改善している。
- 参考スコア（独自算出の注目度）: 13.83104993798738
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tasks such as quadrotor dynamic-gate racing require agents to anticipate external motion while maintaining precise high-frequency control. World-model-based reinforcement learning provides a natural solution by learning latent dynamics for future imagination, yet it often entangles environmental evolution and the robot's own dynamics in a single learned rollout, where model bias can affect policy optimization efficiency. We propose DiffDreamer, a differentiable reinforcement learning framework that tightly couples a learned world model with differentiable simulation for actor optimization. In one optimization step, the learned world model propagates latent states that capture external dynamics and history-dependent features, while the differentiable simulator propagates the robot's explicit physical state. We further decompose the actor objective into a critic-driven pathway for non-differentiable task rewards and a simulator-driven pathway for differentiable motion rewards. Experiments on aggressive tracking and dynamic-gate racing show that DiffDreamer improves training convergence over the model-free, model-based, and differentiable-RL baselines, and final performance over these baselines and classical planning and control methods. Additional experiments assess reward decomposition and the odometry-conditioned relative-state representation through ablations. We also provide proof-of-concept real-world flight experiments for validation.
- Abstract（参考訳）: 四極子ダイナミックゲートレースのようなタスクは、エージェントが正確な高周波制御を維持しながら外部の動きを予測する必要がある。
世界モデルに基づく強化学習は、将来の想像力のために潜在ダイナミクスを学習することで自然な解決策を提供するが、それはしばしば環境の進化とロボット自身のダイナミクスを単一の学習ロールアウトで絡み合わせる。
DiffDreamerは、アクター最適化のための微分可能シミュレーションで学習の世界モデルを密結合する、微分可能強化学習フレームワークである。
ある最適化ステップでは、学習された世界モデルは、外部ダイナミクスと履歴に依存した特徴をキャプチャする潜在状態を伝播し、識別可能なシミュレータはロボットの明示的な物理的状態を伝搬する。
さらに、アクターの目的を、非微分可能なタスク報酬に対する批評家主導の経路と、微分可能なモーション報酬のためのシミュレータ駆動の経路に分解する。
積極的追跡と動的ゲートレースの実験により、DiffDreamerはモデルフリー、モデルベース、微分可能なRLベースラインに対するトレーニング収束を改善し、これらのベースラインと古典的な計画と制御方法に対する最終的なパフォーマンスを示した。
付加的な実験は、償却分解とオードメトリーで条件付けられた相対状態表現をアブレーションを通して評価する。
また,実世界の実証実験を行い,実証実験を行った。
関連論文リスト
- RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning [19.985714275376726]
本稿では,強化学習に基づく微調整フレームワーク RLFTSim を紹介する。
シミュレータのロールアウトと実世界のデータ分散を整列することで、シナリオリアリズムを強化する。
また,目標条件設定による交通シミュレーションの再現性向上のための手法の有効性を実証する。
論文 参考訳（メタデータ） (2026-05-18T18:57:13Z) - Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning [11.762260966376125]
モーションダイナミクスモデルは、効率的なスキル獲得と効果的なプランニングに不可欠である。
本稿では,脳神経運動シミュレータ (MoSim) を紹介する。
MoSimは物理状態予測において最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-04-09T17:59:32Z) - Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。
条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。
実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
論文 参考訳（メタデータ） (2025-02-10T14:49:09Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:15:57Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-03-27T02:55:56Z) - Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
視覚力学モデリングのための新しい連続学習手法を提案する。
まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。
そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
論文 参考訳（メタデータ） (2023-03-12T05:08:03Z) - Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。
我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
論文 参考訳（メタデータ） (2022-10-23T00:45:05Z) - Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。
ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。
本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
論文 参考訳（メタデータ） (2021-10-27T04:27:28Z) - Objective-aware Traffic Simulation via Inverse Reinforcement Learning [31.26257563160961]
逆強化学習問題として交通シミュレーションを定式化する。
動的ロバストシミュレーション学習のためのパラメータ共有逆強化学習モデルを提案する。
提案モデルでは,実世界の車両の軌道を模倣し,同時に報酬関数を復元することができる。
論文 参考訳（メタデータ） (2021-05-20T07:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。