論文の概要: Isolating and Leveraging Controllable and Noncontrollable Visual
Dynamics in World Models
- arxiv url: http://arxiv.org/abs/2205.13817v1
- Date: Fri, 27 May 2022 08:07:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-30 13:26:59.188322
- Title: Isolating and Leveraging Controllable and Noncontrollable Visual
Dynamics in World Models
- Title(参考訳): 世界モデルにおける制御可能・制御不能な視覚ダイナミクスの分離と活用
- Authors: Minting Pan, Xiangming Zhu, Yunbo Wang, Xiaokang Yang
- Abstract要約: Iso-DreamはDream-to-Controlフレームワークを2つの側面で改善する。
まず、逆動力学を最適化することにより、世界モデルに制御可能で制御不能な情報源を学習させることを奨励する。
第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
- 参考スコア(独自算出の注目度): 65.97707691164558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models learn the consequences of actions in vision-based interactive
systems. However, in practical scenarios such as autonomous driving, there
commonly exists noncontrollable dynamics independent of the action signals,
making it difficult to learn effective world models. To tackle this problem, we
present a novel reinforcement learning approach named Iso-Dream, which improves
the Dream-to-Control framework in two aspects. First, by optimizing the inverse
dynamics, we encourage the world model to learn controllable and
noncontrollable sources of spatiotemporal changes on isolated state transition
branches. Second, we optimize the behavior of the agent on the decoupled latent
imaginations of the world model. Specifically, to estimate state values, we
roll-out the noncontrollable states into the future and associate them with the
current controllable state. In this way, the isolation of dynamics sources can
greatly benefit long-horizon decision-making of the agent, such as a
self-driving car that can avoid potential risks by anticipating the movement of
other vehicles. Experiments show that Iso-Dream is effective in decoupling the
mixed dynamics and remarkably outperforms existing approaches in a wide range
of visual control and prediction domains.
- Abstract(参考訳): 世界モデルは、視覚に基づく対話システムにおける行動の結果を学ぶ。
しかし、自律運転のような現実的なシナリオでは、アクション信号とは独立して制御不能なダイナミクスが存在するため、効果的な世界モデルを学ぶことは困難である。
そこで本研究では,2つの側面から,夢と制御の枠組みを改良したiso-dreamという新しい強化学習手法を提案する。
まず, 逆ダイナミクスを最適化することにより, 世界モデルに対して, 孤立状態遷移枝における時空間変化の制御可能かつ制御不能な源を学ぶことを促す。
第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
具体的には、状態値を推定するために、制御不能な状態を未来にロールアウトし、現在の制御可能状態と関連付ける。
このように、動力源の分離は、例えば、他の車両の動きを予測して潜在的なリスクを避ける自動運転車のような、エージェントの長期的な意思決定に大きな利益をもたらす。
実験によれば、iso-dreamは混合ダイナミクスの分離に効果的であり、幅広いビジュアル制御と予測領域において既存のアプローチを著しく上回っている。
関連論文リスト
- Controllable Safety-Critical Closed-loop Traffic Simulation via Guided
Diffusion [100.4988219600854]
誘導拡散モデルに根ざした新しいクローズドループシミュレーションフレームワークを提案する。
提案手法は, 現実の条件を密にエミュレートする現実的なロングテールシナリオの生成と, 制御性の向上という, 二つの異なる利点をもたらす。
我々はNuScenesデータセットを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
論文 参考訳(メタデータ) (2023-12-31T04:14:43Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - GAIA-1: A Generative World Model for Autonomous Driving [9.578453700755318]
本稿では,現実的な運転シナリオを生成する生成的世界モデルであるGAIA-1(Generative AI for Autonomy)を紹介する。
我々のモデルからの創発的特性には、高レベルの構造やシーンダイナミクス、文脈認識、一般化、幾何学の理解などが含まれる。
論文 参考訳(メタデータ) (2023-09-29T09:20:37Z) - Controllable Motion Diffusion Model [59.52889433954535]
制御可能な運動拡散モデル(COMODO)の枠組みを提案する。
我々のフレームワークは自動回帰運動拡散モデル(A-MDM)から始まり、ステップごとに動きのシーケンスを生成する。
そこで本研究では,A-MDMモデル上での強化学習に基づく制御手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T07:48:34Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳(メタデータ) (2023-03-27T02:55:56Z) - Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model
Predictive Control [49.60520501097199]
本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。
我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
論文 参考訳(メタデータ) (2022-10-23T00:45:05Z) - Dream to Explore: Adaptive Simulations for Autonomous Systems [3.0664963196464448]
ベイズ的非パラメトリック法を適用し,力学系制御の学習に挑戦する。
ガウス過程を用いて潜在世界力学を探索することにより、強化学習で観測される一般的なデータ効率の問題を緩和する。
本アルゴリズムは,ログの変動的下界を最適化することにより,世界モデルと政策を共同で学習する。
論文 参考訳(メタデータ) (2021-10-27T04:27:28Z) - Cycle-Consistent World Models for Domain Independent Latent Imagination [0.0]
高いコストとリスクは、現実世界での自動運転車の訓練を困難にします。
本稿では,Cycleconsistent World Modelsと呼ばれる新しいモデルに基づく強化学習手法を提案する。
論文 参考訳(メタデータ) (2021-10-02T13:55:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。