論文の概要: Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2504.07095v1
• Date: Wed, 09 Apr 2025 17:59:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 16:14:40.177019
• Title: Neural Motion Simulator: Pushing the Limit of World Models in Reinforcement Learning
• Title（参考訳）: ニューラルモーションシミュレータ:強化学習における世界モデルの限界を押し上げる
• Authors: Chenjie Hao, Weyl Lu, Yifan Xu, Yubei Chen,
• Abstract要約: モーションダイナミクスモデルは、効率的なスキル獲得と効果的なプランニングに不可欠である。 本稿では,脳神経運動シミュレータ (MoSim) を紹介する。 MoSimは物理状態予測において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 11.762260966376125
• License:
• Abstract: An embodied system must not only model the patterns of the external world but also understand its own motion dynamics. A motion dynamic model is essential for efficient skill acquisition and effective planning. In this work, we introduce the neural motion simulator (MoSim), a world model that predicts the future physical state of an embodied system based on current observations and actions. MoSim achieves state-of-the-art performance in physical state prediction and provides competitive performance across a range of downstream tasks. This works shows that when a world model is accurate enough and performs precise long-horizon predictions, it can facilitate efficient skill acquisition in imagined worlds and even enable zero-shot reinforcement learning. Furthermore, MoSim can transform any model-free reinforcement learning (RL) algorithm into a model-based approach, effectively decoupling physical environment modeling from RL algorithm development. This separation allows for independent advancements in RL algorithms and world modeling, significantly improving sample efficiency and enhancing generalization capabilities. Our findings highlight that world models for motion dynamics is a promising direction for developing more versatile and capable embodied systems.
• Abstract（参考訳）: 具現化されたシステムは、外界のパターンをモデル化するだけでなく、自身の運動力学も理解しなければならない。 モーションダイナミクスモデルは、効率的なスキル獲得と効果的なプランニングに不可欠である。 本研究では,現時点の観測と行動に基づいて,エンボディドシステムの将来の物理的状態を予測する世界モデルであるニューラルモーションシミュレータ (MoSim) を紹介する。 MoSimは物理状態予測における最先端のパフォーマンスを達成し、さまざまな下流タスクで競合的なパフォーマンスを提供する。 この結果は、世界モデルが十分に正確で正確な長距離予測を行う場合、想像された世界での効率的なスキル獲得を容易にし、ゼロショット強化学習を可能にすることを示しています。 さらに、MoSimは任意のモデルフリー強化学習(RL)アルゴリズムをモデルベースアプローチに変換することができ、RLアルゴリズム開発から物理的環境モデリングを効果的に分離することができる。 この分離により、RLアルゴリズムとワールドモデリングが独立に進歩し、サンプル効率が大幅に向上し、一般化能力が向上する。 運動力学の世界モデルは、より汎用的で有能なエンボディシステムを開発する上で有望な方向であることを示す。

関連論文リスト

• Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
  本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。 条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。 実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
  論文  参考訳（メタデータ） (2025-02-10T14:49:09Z)
• Robotic World Model: A Neural Network Simulator for Robust Policy Optimization in Robotics [50.191655141020505]
  私たちは世界モデルを学ぶための新しいフレームワークを紹介します。 スケーラブルで堅牢なフレームワークを提供することで、現実のアプリケーションにおいて適応的で効率的なロボットシステムを実現することができる。
  論文  参考訳（メタデータ） (2025-01-17T10:39:09Z)
• SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels [16.020835290802548]
  Slot-Attention for Object-centric Latent Dynamicsは、新しいモデルに基づく強化学習アルゴリズムである。 画素入力から教師なしの方法でオブジェクト中心のダイナミックスモデルを学習する。 構造化潜在空間は、モデル解釈可能性を改善するだけでなく、振る舞いモデルが推論する価値のある入力空間も提供することを実証する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:31Z)
• TWIST: Teacher-Student World Model Distillation for Efficient Sim-to-Real Transfer [23.12048336150798]
  本稿では,TWIST(Teacher-Student World Model Distillation for Sim-to-Real Transfer)を提案する。 具体的には、TWISTは状態観察をシミュレータから取得した特権情報として利用し、シミュレート・トゥ・リアル転送を著しく高速化する。
  論文  参考訳（メタデータ） (2023-11-07T00:18:07Z)
• STORM: Efficient Stochastic Transformer based World Models for Reinforcement Learning [82.03481509373037]
  近年,モデルに基づく強化学習アルゴリズムは視覚入力環境において顕著な有効性を示している。 本稿では,強力なモデリングと生成機能を組み合わせた効率的な世界モデルアーキテクチャであるTransformer-based wORld Model (STORM)を紹介する。 Stormは、Atari 100$kベンチマークで平均126.7%の人的パフォーマンスを達成し、最先端のメソッドの中で新しい記録を樹立した。
  論文  参考訳（メタデータ） (2023-10-14T16:42:02Z)
• Gradient-Based Trajectory Optimization With Learned Dynamics [80.41791191022139]
  データからシステムの微分可能なダイナミクスモデルを学習するために、機械学習技術を使用します。 ニューラルネットワークは、大規模な時間的地平線に対して、非常に非線形な振る舞いを正確にモデル化できることが示される。 ハードウェア実験において、学習したモデルがSpotとRadio- controlled (RC)の両方の複雑な力学を表現できることを実証した。
  論文  参考訳（メタデータ） (2022-04-09T22:07:34Z)
• DiffSRL: Learning Dynamic-aware State Representation for Deformable Object Control with Differentiable Simulator [26.280021036447213]
  ダイナミックス関連情報をキャプチャできる潜在空間は、モデルフリー強化学習の加速のような分野に広く応用されている。 微分可能シミュレーションを利用した動的状態表現学習パイプラインDiffSRLを提案する。 本モデルでは,長期的ダイナミクスと報奨予測の両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-24T04:53:58Z)
• Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning [124.9856253431878]
  グローバルなダイナミクスモデルを学習するタスクを,(a)ローカルなダイナミクスをキャプチャするコンテキスト潜在ベクトルを学習し,(b)次に条件付き状態を予測するという2つの段階に分割する。 本研究では,コンテキスト潜在ベクトルに動的情報をエンコードするために,コンテキスト潜在ベクトルを前方と後方の両方のダイナミクスを予測するのに役立つような新しい損失関数を導入する。 提案手法は,既存のRL方式と比較して,様々なシミュレーションロボットや制御タスクの一般化能力に優れる。
  論文  参考訳（メタデータ） (2020-05-14T08:10:54Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。