論文の概要: DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model
- arxiv url: http://arxiv.org/abs/2608.22278v1
- Date: Sun, 23 Aug 2026 08:08:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.693681
- Title: DreamMimic: Learning Visuomotor Whole-Body Loco-Manipulation via World Model
- Title（参考訳）: DreamMimic: 世界モデルによる全身ロコマニピュレーションの学習
- Abstract要約: 視覚に基づくヒューマノイドロボットの全身操作は、部分的観察性、接触豊かなダイナミクス、高次元視覚入力から長距離動作を学ぶことの難しさにより困難である。
本稿では,教師の特権的政策を世界モデルによる蒸留を通じて視覚ベースのヒューマノイドコントローラに蒸留する枠組みを提案する。
- 参考スコア（独自算出の注目度）: 5.082137967180834
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Vision-based whole-body loco-manipulation on humanoid robots is challenging due to partial observability, contact-rich dynamics, and the difficulty of learning long-horizon behaviors from high-dimensional visual inputs. We present \href{https://github.com/DreamMimic/DreamMimic}{DreamMimic}, a framework that distills privileged teacher policies into vision-based humanoid controllers via world-model-assisted distillation. Instead of using a Dreamer-style RSSM for planning, we repurpose it to learn predictive latent dynamics that serve as both a representation space and an action-conditioned multi-step supervision signal, while exposing compact predictive features to the student policy to reduce long-term drift. Beyond standard reconstruction objectives for proprioceptive and visual observations, we add auxiliary prediction heads for privileged state, contact, object state, and reward estimation. These heads provide additional supervision related to agent--object interaction and task progress, encouraging the latent representation to retain signals that are useful for contact-rich loco-manipulation. We further introduce Performance-Conditioned Guidance (PCG), a reward-driven adaptive distillation schedule that computes performance scores for both teacher and student to dynamically balance guidance and exploration. PCG prevents both premature teacher annealing and excessive teacher interference in challenging visual settings. Experiments on OMOMO and BEHAVE show improved tracking-based loco-manipulation performance over strong vision-based baselines, without exposing online privileged interaction states to the student at deployment. Qualitative simulations further examine morphology and simulator changes. These results suggest that world models can provide a useful mechanism for stabilizing visual policy distillation in contact-rich humanoid behaviors.
- Abstract（参考訳）: 視覚に基づくヒューマノイドロボットの全身操作は、部分的観察性、接触豊かなダイナミクス、高次元視覚入力から長距離動作を学ぶことの難しさにより困難である。
このフレームワークは、教師の特権的なポリシーを、世界モデル支援蒸留を通じて視覚ベースのヒューマノイドコントローラに蒸留するものである。
本研究では,Dreamer-style RSSMを計画に使用する代わりに,表現空間と行動条件付き多段階監視信号の両方として機能する予測潜在力学を学習し,学生政策にコンパクトな予測機能を公開し,長期的ドリフトの低減を図る。
主観的および主観的観察のための標準的な再建目的に加えて、特権状態、接触状態、対象状態、報酬推定のための補助予測ヘッドも追加する。
これらのヘッドは、エージェント・オブジェクトの相互作用とタスクの進行に関連する追加の監視を提供し、接触リッチなロコ操作に役立つ信号を保持するために潜伏表現を奨励する。
さらに,教師と学生の両方のパフォーマンススコアを計算し,指導と探索を動的にバランスさせる,報酬駆動型適応蒸留スケジュールであるPCGについても紹介する。
PCGは、未熟な教師のアニーリングと過度の教師の干渉の両方を、困難な視覚的設定で防止する。
OMOMOとBEHAVEの実験では、学生にオンラインの特権的インタラクション状態を公開することなく、強力な視覚ベースライン上でのトラッキングベースのロコ操作性能が改善された。
定性的シミュレーションは、モルフォロジーとシミュレータの変化をさらに調べる。
これらの結果から,世界モデルは接触に富むヒューマノイド行動における視覚的政策蒸留の安定化に有用なメカニズムを提供する可能性が示唆された。
関連論文リスト
- Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - HALOMI: Learning Humanoid Loco-Manipulation with Active Perception from Human Demonstrations [10.378782873235453]
本報告では,ヒトのデモから能動的知覚でヒューマノイド・ロコ操作を学習するフレームワークであるHALOMIについて述べる。
本研究では,世界フレームにおける高精度かつ堅牢なヘッドハンドトラッキングを実現するために,学習された潜在行動多様体を計画する多様体拘束型コントローラを提案する。
我々は、ナビゲーション、把握、バイマニュアル操作、全身調整、動的動作を含む5つの現実的なタスクにまたがって、アクティベートされた首を持つユニツリーG1ヒューマノイドロボット上でHALOMIを検証する。
論文 参考訳（メタデータ） (2026-06-17T07:33:37Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳（メタデータ） (2026-03-31T02:21:59Z) - Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation [57.28703268044067]
ロボット操作のための新しいデュアルストリームビュー変換器であるCortical Policyを提案する。
われわれのフレームワークは、ロボット操作の新しい視点を提供し、視覚に基づくロボット制御の幅広い応用の可能性を秘めている。
論文 参考訳（メタデータ） (2026-03-22T04:18:54Z) - Self-Correcting VLA: Online Action Refinement via Sparse World Imagination [55.982504915794514]
本稿では, 自己補正VLA (SC-VLA) を提案する。
SC-VLAは最先端のパフォーマンスを達成し、最高タスクスループットを16%削減し、最高パフォーマンスのベースラインよりも9%高い成功率を得る。
論文 参考訳（メタデータ） (2026-02-25T06:58:06Z) - Going with the Flow: Koopman Behavioral Models as Implicit Planners for Visuo-Motor Dexterity [1.6865201067073452]
本稿では,一様挙動モデル (UBMs) を紹介する。
Koopman-UBM は UBM の最初のインスタンス化であり、潜在視覚的特徴と固有受容的特徴の結合フローが構造化線形システムによって制御される統一表現を学習する。
論文 参考訳（メタデータ） (2026-02-07T07:18:00Z) - Learning Predictive Visuomotor Coordination [25.41320518416861]
本研究は,ビジュモータモデリングのための予測に基づくタスクを導入する。
目標は、自我中心の視覚的および運動学的観察から頭部のポーズ、視線、上体の動きを予測することである。
我々は,エゴセントリックな視覚とキネマティックなシーケンスを統合した拡散に基づく運動モデリングフレームワークを拡張した。
論文 参考訳（メタデータ） (2025-03-30T03:46:45Z) - A Cognitive-Based Trajectory Prediction Approach for Autonomous Driving [21.130543517747995]
本稿では,教師による知識蒸留の枠組みを取り入れたHuman-Like Trajectory Prediction (H)モデルを提案する。
教師」モデルは人間の脳、特に後頭葉と側頭葉の機能の視覚的処理を模倣する。
学生」モデルはリアルタイムのインタラクションと意思決定に焦点を合わせ、正確な予測のために重要な知覚的手がかりを捉えます。
論文 参考訳（メタデータ） (2024-02-29T15:22:26Z) - Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
モデルに基づく強化学習手法であるIso-Dream++を提案する。
我々は、切り離された潜在的想像力に基づいて政策最適化を行う。
これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
論文 参考訳（メタデータ） (2023-03-27T02:55:56Z) - Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
視覚力学モデリングのための新しい連続学習手法を提案する。
まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。
そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
論文 参考訳（メタデータ） (2023-03-12T05:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。