論文の概要: Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control
- arxiv url: http://arxiv.org/abs/2607.03964v1
- Date: Sat, 04 Jul 2026 17:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.774291
- Title: Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control
- Title(参考訳): Worldscape-MoE: スケーラブルな異種行動制御のための一元混合型世界モデル
- Abstract要約: 我々は、スケーラブルな異種アクション制御のためのMixture-of-Experts世界モデルであるWorldscape-MoEを紹介する。
私たちのキーとなる観察は、異なるコントロールが、同じ基礎となる世界に対して異なるインターフェースを指定していることです。
Worldscape-MoEは、この観察をモダリティ対応制御インジェクション、共有および制御固有の専門家、およびプログレッシブなMoEチューニング戦略を通じて運用する。
- 参考スコア(独自算出の注目度): 31.020641426071293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World models are rapidly becoming a core infrastructure for embodied intelligence and interactive agents: they provide controllable simulators in which agents can perceive, act, forecast, and acquire scalable experience. Yet current video generation world models are still organized around isolated control interfaces, such as camera trajectories, robot actions, or hand-joint signals. This fragmentation is increasingly a scaling bottleneck. The central challenge is not the absence of controllable generators, but the lack of a unified and extensible learning framework that can absorb heterogeneous action supervision while preserving a shared model of world dynamics. In this work, we introduce Worldscape-MoE, a Mixture-of-Experts world model built on Diffusion Transformers for scalable heterogeneous action control. Our key observation is that different controls specify different interfaces to the same underlying world: although their representations differ, they constrain shared physical regularities, scene dynamics, and interaction semantics. Worldscape-MoE operationalizes this observation through modality-aware control injection, shared and control-specific experts, and a progressive MoE tuning strategy that supports continual extension to new action modalities. Experiments across locomotion, robotic manipulation, and egocentric hand control show that heterogeneous supervision improves rather than interferes with individual control capabilities. Worldscape-MoE achieves strong results on WorldArena, improves locomotion and hand-control metrics, exhibits robust out-of-distribution generalization, and demonstrates scaling behavior as additional control data and experts are integrated.
- Abstract(参考訳): エージェントが知覚し、行動し、予測し、スケーラブルな体験を得るための制御可能なシミュレータを提供する。
しかし、現在のビデオ生成の世界モデルは、カメラトラジェクトリ、ロボットアクション、ハンドジョイント信号など、分離されたコントロールインターフェースを中心に構成されている。
この断片化は、ますますスケーリングのボトルネックになっています。
中心的な課題は、制御可能なジェネレータが存在しないことではなく、世界ダイナミクスの共有モデルを維持しながら異種行動の監督を吸収できる統一的で拡張可能な学習フレームワークがないことである。
本研究では,多種多様な動作制御のための拡散変換器上に構築されたMixture-of-Experts世界モデルであるWorldscape-MoEを紹介する。
我々のキーとなる観察は、異なる制御が異なるインタフェースを同じ世界へ指定することである:それらの表現は異なるが、共有された物理的規則性、シーンダイナミクス、相互作用の意味論に制約する。
Worldscape-MoEは、モダリティ対応制御インジェクション、共有およびコントロール固有の専門家、新しいアクションモダリティへの連続的な拡張をサポートするプログレッシブなMoEチューニング戦略を通じて、この観察を運用する。
移動、ロボット操作、自我中心の手制御に関する実験は、個別の制御能力に干渉するのではなく、異質な監督が改善することを示している。
Worldscape-MoEはWorldArenaの強力な成果を達成し、ロコモーションとハンドコントロールのメトリクスを改善し、ロバストなアウト・オブ・ディストリビューションの一般化を示し、新たなコントロールデータと専門家が統合されるにつれて、スケーリングの振る舞いを示す。
関連論文リスト
- AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳(メタデータ) (2026-08-29T12:55:15Z) - BehaviorWorldGen: Closing the Loop between Action Models and World Simulators via Controllable Behavior-Aware Structured World Generation [22.803470671269874]
本稿では,アクションモデルと世界シミュレータのループを閉じるフレームワークであるBehaviorWorldGenを紹介する。
コアコンポーネントは、メタアクション条件付きトラフィックフローモデルであるBehavimentFlowである。
結果として生じるロールアウトは、ワールドシミュレーターによって現実的なマルチビュー観測にレンダリングされる。
論文 参考訳(メタデータ) (2026-08-23T02:53:09Z) - ABot-M0.5: Unified Mobility-and-Manipulation World Action Model [27.262271208923995]
ABot-M0.5は、モバイル操作には時間的粒度、アクションスペース、列車-テスト整合性の3段階のアライメントが必要であるという洞察に基づいて構築されている。
モバイルおよびきめ細かい操作ベンチマークの実験により、ABot-M0.5は、長距離タスクの成功ときめ細かい制御精度の両方において最先端の性能を達成することが示された。
論文 参考訳(メタデータ) (2026-07-01T09:21:20Z) - Sensorimotor World Models: Perception for Action via Inverse Dynamics [59.121736411156384]
Inverse dynamics regularization で訓練されたエンド・ツー・エンドのセンサモレータ・ワールドモデルを導入する。
表現の崩壊を防ぎ、アクション整列表現を誘導する。
コンパクトで解釈可能な潜在空間を学習し、単純な2Dおよび3D制御タスク間の競合計画性能を実現する。
論文 参考訳(メタデータ) (2026-06-18T11:25:16Z) - OMG: Omni-Modal Motion Generation for Generalist Humanoid Control [30.236954254902614]
汎用ヒューマノイド制御の鍵は、リアクティブなモーショントラッキングシステムの上に、スケーラブルな脳を構築することだと我々は主張する。
汎用制御を実現するために大量の高品質なデータを取得すること,および構成的マルチモーダル入力の条件付け機能を備えたジェネレータを備えること,という2つの課題に対処する。
論文 参考訳(メタデータ) (2026-06-09T02:46:14Z) - DisCo: World Models with Discrete Camera Motion Control [79.86256515640231]
本研究では、離散アクションプリミティブのコンパクトなセットで生成し、アクション分離性を改善する制御可能なビデオワールドモデルであるDisCoを提案する。
DisCoは、視覚的品質を維持しながら、はるかに信頼性の高いアクションを達成する。
論文 参考訳(メタデータ) (2026-06-06T03:50:45Z) - AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization [79.26935895370191]
AnchorWorldは、対話の整合性を強化することで、エゴセントリックなシミュレーションを促進するフレームワークである。
補助訓練監督は、エージェントのファーストパーソンセンタリウムから切り離された視点を取り入れている。
我々は、自己進化する世界をカスタマイズするためのシンプルで効果的なメカニズムを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:43:13Z) - Astra: General Interactive World Model with Autoregressive Denoising [73.6594791733982]
Astraはインタラクティブな汎用世界モデルであり、多様なシナリオのために現実世界の未来を生成する。
本稿では,自己回帰型認知型アーキテクチャを提案し,時間的因果的注意を用いて過去の観測を集約する。
Astraはインタラクティブで一貫性があり、一般的な長期的なビデオ予測を実現し、様々な形式のインタラクションをサポートする。
論文 参考訳(メタデータ) (2025-12-09T18:59:57Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳(メタデータ) (2023-06-01T07:48:34Z) - Isolating and Leveraging Controllable and Noncontrollable Visual
Dynamics in World Models [65.97707691164558]
Iso-DreamはDream-to-Controlフレームワークを2つの側面で改善する。
まず、逆動力学を最適化することにより、世界モデルに制御可能で制御不能な情報源を学習させることを奨励する。
第2に、エージェントの挙動を世界モデルの切り離された潜在的想像力に最適化する。
論文 参考訳(メタデータ) (2022-05-27T08:07:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。