論文の概要: SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models
- arxiv url: http://arxiv.org/abs/2610.06598v1
- Date: Mon, 05 Oct 2026 16:08:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 07:20:28.485117
- Title: SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models
- Title(参考訳): シミュレーション: シミュレーションの動作を前提とした実世界モデルの構築
- Abstract要約: アクションコンディショニングされたロボットワールドモデルは、現実的な視覚力学を保ちながら、ロボット軌道に正確に応答する必要がある。
シミュレーション誘導型フレームワークであるSimForcingについて,移動可能な動作知識の源泉として,および予測のための制御可能な参照として,シミュレーションを利用する。
SimForcing はPSNR, SSIM, LPIPS, FVD を外装事前訓練なしで比較した。
- 参考スコア(独自算出の注目度): 20.083709952582392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Action-conditioned robot world models must respond precisely to robot trajectories while preserving realistic visual dynamics, yet learning both from heterogeneous robot videos remains challenging. Simulation offers structured motion supervision, but appearance differences hinder direct transfer, and inaccurate simulation predictions can misguide real-video generation. We present SimForcing, a simulation-guided framework that uses simulation both as a source of transferable motion knowledge and as a controllable reference for prediction. First, we transfer motion knowledge from a simulation teacher through latent-motion distillation, aligning temporal changes in latent space to internalize motion priors while mitigating the influence of appearance differences. Second, we introduce multi-block simulation conditioning with condition dropout to exploit predicted simulation trajectories without relying excessively on their accuracy. Our simulation-conditioning classifier-free guidance scheme unifies these two ideas by balancing predictions based on internalized motion knowledge with those additionally guided by simulation latents. The jointly trained student generates both simulation conditions and real-domain videos, requiring no additional world model at inference. On Bridge, SimForcing achieves the best PSNR, SSIM, LPIPS, and FVD among the compared methods without external embodied pretraining. Evaluation on InternData-A1 further supports its applicability across robot datasets. Moreover, using our trained world model to initialize a vision-language-action model improves LIBERO success, suggesting its utility for downstream policy learning. \url{https://github.com/Wang-Xiaodong1899/SimForcing}
- Abstract(参考訳): アクションコンディショニングされたロボットワールドモデルは、現実的な視覚力学を保ちながら、ロボット軌道に正確に反応する必要があるが、異種ロボットビデオから両方のことを学ぶことは難しい。
シミュレーションは構造化された動きの監視を提供するが、外観の違いは直接転送を妨げ、不正確なシミュレーション予測は実映像生成を誤る可能性がある。
シミュレーション誘導型フレームワークであるSimForcingについて,移動可能な動作知識の源泉として,および予測のための制御可能な参照として,シミュレーションを利用する。
まず, シミュレーション教師から潜伏蒸留により動作知識を伝達し, 外観の違いの影響を軽減しつつ, 潜伏空間における時間変化を内部化させる。
第2に,条件降下を伴うマルチブロックシミュレーション条件を導入し,その精度に過度に依存することなく,予測されたシミュレーショントラジェクトリを活用する。
シミュレーション条件付き分類器フリーガイダンス方式は, 内部動作知識に基づく予測と, シミュレーション潜伏者によって導かれる予測とをバランスさせることにより, これら2つのアイデアを統一する。
共同訓練を受けた学生はシミュレーション条件と実ドメインビデオの両方を生成し、推論時に追加の世界モデルを必要としない。
ブリッジでは,PSNR,SSIM,LPIPS,FVDを外装事前学習なしで比較した。
InternData-A1の評価は、ロボットデータセット間の適用性をさらにサポートする。
さらに、我々の訓練された世界モデルを用いてビジョン言語アクションモデルの初期化を行うことで、LIBEROの成功が向上し、下流政策学習に有用であることが示唆された。
\url{https://github.com/Wang-Xiaodong1899/SimForcing}
関連論文リスト
- RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning [19.985714275376726]
本稿では,強化学習に基づく微調整フレームワーク RLFTSim を紹介する。
シミュレータのロールアウトと実世界のデータ分散を整列することで、シナリオリアリズムを強化する。
また,目標条件設定による交通シミュレーションの再現性向上のための手法の有効性を実証する。
論文 参考訳(メタデータ) (2026-05-18T18:57:13Z) - Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation [46.80452332618188]
シミュレーション蒸留(SimDist)は、シミュレータから潜在世界モデルに構造的事前を蒸留するフレームワークである。
報酬モデルと価値モデルをシミュレーションから直接転送することで、SimDistは生の知覚から密集した計画信号を提供する。
SimDistは、データ効率、安定性、最終的なパフォーマンスにおいて、従来の方法よりも大幅に優れています。
論文 参考訳(メタデータ) (2026-03-16T18:00:23Z) - HALO:Closing Sim-to-Real Gap for Heavy-loaded Humanoid Agile Motion Skills via Differentiable Simulation [22.6954724792851]
微分可能シミュレータ MuJoCo XLA 上に構築した2段階勾配システム同定フレームワークを提案する。
第1段階は、実世界のデータを用いて名目ロボットモデルを校正し、本質的なシミュレートの相違を低減させる。
第2段階は、未知のペイロードの質量分布をさらに特定する。
論文 参考訳(メタデータ) (2026-03-16T10:38:05Z) - D-REX: Differentiable Real-to-Sim-to-Real Engine for Learning Dexterous Grasping [66.22412592525369]
本稿では,ガウスのSplat表現を生かした実--sim-to-realエンジンを導入し,実-sim-to-realエンジンについて述べる。
提案エンジンは, 各種物体の形状と質量値のマス識別において, 高精度かつロバストな性能を実現していることを示す。
これらの最適化された質量値は、力覚的なポリシー学習を促進し、オブジェクトの把握において優れた、高いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-03-01T15:32:04Z) - Context-aware Learned Mesh-based Simulation via Trajectory-Level Meta-Learning [20.72669976554826]
Learned Graph Network Simulators (GNS)は、従来のメッシュベースの物理シミュレータに代わる有望な代替手段を提供する。
その速度と固有の微分性は、ロボット操作や製造最適化のような高速で正確なシミュレーションを必要とするアプリケーションに適している。
動作プリミティブを用いて、1つのモデルコールから高速で安定で正確なシミュレーションを直接予測する。
論文 参考訳(メタデータ) (2025-11-07T13:34:02Z) - Pre-Trained Video Generative Models as World Simulators [59.546627730477454]
本研究では,事前学習した映像生成モデルを制御可能な世界シミュレータに変換するための動的世界シミュレーション(DWS)を提案する。
条件付き動作と生成した視覚的変化の正確なアライメントを実現するために,軽量で普遍的な動作条件付きモジュールを導入する。
実験により、DWSは拡散モデルと自己回帰変換モデルの両方に汎用的に適用可能であることが示された。
論文 参考訳(メタデータ) (2025-02-10T14:49:09Z) - Learning Quadruped Locomotion Using Differentiable Simulation [31.80380408663424]
微分可能シミュレーションは、高速収束と安定した訓練を約束する。
本研究はこれらの課題を克服するための新しい微分可能シミュレーションフレームワークを提案する。
我々のフレームワークは並列化なしで数分で四足歩行を学習できる。
論文 参考訳(メタデータ) (2024-03-21T22:18:59Z) - Real-World Humanoid Locomotion with Reinforcement Learning [92.85934954371099]
実世界におけるヒューマノイド移動に対する完全学習型アプローチを提案する。
コントローラーは様々な屋外の地形の上を歩けるし、外乱に対して頑丈で、状況に応じて適応できる。
論文 参考訳(メタデータ) (2023-03-06T18:59:09Z) - TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors [74.67698916175614]
リアル交通シミュレーションのためのマルチエージェント行動モデルであるTrafficSimを提案する。
特に、暗黙の潜在変数モデルを利用して、共同アクターポリシーをパラメータ化する。
TrafficSimは、多様なベースラインと比較して、より現実的で多様なトラフィックシナリオを生成します。
論文 参考訳(メタデータ) (2021-01-17T00:29:30Z) - Point Cloud Based Reinforcement Learning for Sim-to-Real and Partial
Observability in Visual Navigation [62.22058066456076]
強化学習(Reinforcement Learning, RL)は、複雑なロボットタスクを解決する強力なツールである。
RL は sim-to-real transfer problem として知られる現実世界では直接作用しない。
本稿では,点雲と環境ランダム化によって構築された観測空間を学習する手法を提案する。
論文 参考訳(メタデータ) (2020-07-27T17:46:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。