論文の概要: Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model
- arxiv url: http://arxiv.org/abs/2607.11643v1
- Date: Mon, 13 Jul 2026 14:57:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.516864
- Title: Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model
- Title（参考訳）: Xiaomi-Robotics-U0:Unified Embodied Synthesis with World Foundation Model
- Abstract要約: Xiaomi-Robotics-U0は、統一的な組込み合成のためのマルチモーダル自己回帰モデルである。
基礎画像とビデオ生成の拡張としてエンボディジェネレーションを扱う。
複数のロボットをまたいだ高品質なマルチビューシーン生成をサポートする最初のモデルである。
- 参考スコア（独自算出の注目度）: 43.03635193896585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent foundation image and video generation models offer strong generalization and controllability, but their direct application to embodied scenarios is limited by requirements for multi-view consistency, geometric coherence, and robot embodiment constraints. Existing methods typically adapt foundation models with limited robot data, often sacrificing visual knowledge acquired during large-scale pre-training. We present Xiaomi-Robotics-U0, a 38-billion-parameter multimodal autoregressive model for unified embodied synthesis. It treats embodied generation as an extension of foundation image and video generation and jointly optimizes text-to-image generation, image editing, embodied scene generation, embodied transfer, and embodied video generation. This unified framework preserves the generalization of the pre-trained world foundation model while adapting it to embodied settings. Xiaomi-Robotics-U0 is the first model to support high-quality multi-view scene generation across multiple robot embodiments and to introduce structured, controllable embodied transfer for fine-grained editing while preserving multi-view consistency and interaction dynamics. It achieves state-of-the-art results on single-step and sequential generation tasks, outperforming GPT-Image-2.0 in human evaluations of embodied scene generation and transfer, ranking first on World Arena for embodied video generation, and improving the out-of-distribution success rate of pi_0.5 from 36.9% to 63.2% on challenging real-world manipulation tasks. These results show that foundation world models can serve both as embodied world models and scalable data engines for embodied intelligence. Code and checkpoints are available at https://robotics.xiaomi.com/xiaomi-robotics-u0.html.
- Abstract（参考訳）: 近年の基盤画像および映像生成モデルは、強力な一般化と制御性を提供するが、その具体化シナリオへの直接的な適用は、多視点一貫性、幾何コヒーレンス、ロボットエンボディメント制約の要件によって制限されている。
既存の方法は、通常、限られたロボットデータで基礎モデルを適応させ、大規模な事前訓練中に得られる視覚的知識を犠牲にする。
組込み合成のための38ビリオンパラメトリック・マルチモーダル自己回帰モデルであるXiaomi-Robotics-U0を提案する。
基礎画像およびビデオ生成の拡張としてエンボディド生成を扱い、テキスト・ツー・イメージ生成、画像編集、エンボディド・シーン生成、エンボディド・トランスファー、エンボディド・ビデオ生成を共同で最適化する。
この統合されたフレームワークは、事前訓練された世界基盤モデルの一般化を維持しつつ、それを具体的設定に適応させる。
Xiaomi-Robotics-U0は、複数のロボットエンボディメントにまたがる高品質なマルチビューシーン生成をサポートし、マルチビュー一貫性とインタラクションのダイナミクスを維持しながら、きめ細かい編集のための構造化された制御可能なエンボディ転送を導入する最初のモデルである。
シングルステップおよびシーケンシャルな生成タスクにおける最先端の成果、具体的シーン生成と転送の人的評価におけるGPT-Image-2.0を上回り、実世界の操作タスクにおいて36.9%から63.2%のディストリビューション成功率の向上を実現している。
これらの結果から,基礎世界モデルは,具体的世界モデルと,具体的インテリジェンスのためのスケーラブルなデータエンジンの両方として機能することが示唆された。
コードとチェックポイントはhttps://robotics.xiaomi.com/xiaomi-robotics-u0.htmlで確認できる。
関連論文リスト
- RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation [48.828787848144806]
本稿では,実際のロボットを生成世界モデルに置き換えることで,物理的な制約からデータ収集を分離するパラダイムであるデジタル遠隔操作を紹介する。
我々は、このパラダイムをRynnWorld-Teleopでインスタンス化する。これは、深度対応の骨格条件、ビデオ拡散変換器におけるプログレッシブな人間とロボットのトレーニング、自動回帰蒸留を統合するシステムである。
このパイプラインは生成プロセスを単一パスの推論に圧縮し、単一のH100 GPU上で40以上のFPS、リアルタイムインタラクティブな生成を可能にする。
論文 参考訳（メタデータ） (2026-07-07T17:58:11Z) - MetaWorld: Scaling Multi-Agent Video World Model from Single-view Video Data [125.43597497646444]
MetaWorldは、マルチエージェントビデオワールドモデルをシングルビュービデオから直接オープンドメイン環境にスケールする新しいフレームワークである。
クロスビューの一貫性とアイデンティティの整合性を向上し、マルチエージェントビデオワールドモデリングのための高度にスケーラブルで物理駆動のパラダイムを確立する。
論文 参考訳（メタデータ） (2026-06-01T18:20:20Z) - MotuBrain: An Advanced World Action Model for Robot Control [23.733029557644354]
We present MotuBrain, a unified World Action Model that jointly model video and action under a UniDiffuser formulation。
単一のモデルは、ポリシー学習、世界モデリング、ビデオ生成、逆ダイナミクス、共同ビデオアクション予測をサポートする。
Motus上に構築されているMotuBrainは、言語と相互作用の結合を強くするための独立したテキストストリームである、統一されたマルチビューモデリングも導入している。
我々の推論スタックは、ステップの削減、コンパイル、FP8量子化、DiTキャッシュ、V2Aスタイルのアクション専用推論、リアルタイムチャンククループ実行を組み合わせたものです。
論文 参考訳（メタデータ） (2026-04-30T12:34:44Z) - DuoGen: Towards General Purpose Interleaved Multimodal Generation [65.13479486098419]
DuoGenは汎用的なインターリーブ生成フレームワークで、データキュレーション、アーキテクチャ設計、評価に対処する。
我々は、キュレートされた生のWebサイトから書き直されたマルチモーダルな会話を組み合わせることで、大規模で高品質な命令チューニングデータセットを構築する。
2段階の切り離し戦略はまずMLLMをインストラクションチューニングし、次にインターリーブされた画像テキストシーケンスを使用してDiTをアライメントする。
論文 参考訳（メタデータ） (2026-01-31T04:35:15Z) - IC-World: In-Context Generation for Shared World Modeling [61.69655562995357]
ビデオベースの世界モデルは、多様でダイナミックな視覚環境を合成する能力に注目が集まっている。
本稿では,モデルが入力画像の集合から複数のビデオを生成し,それぞれが異なるカメラポーズで同じ世界を表す共有世界モデリングに焦点を当てる。
入力画像の並列生成を可能にする新しい生成フレームワークであるIC-Worldを提案する。
論文 参考訳（メタデータ） (2025-12-01T16:52:02Z) - Image Generation as a Visual Planner for Robotic Manipulation [0.0]
リアルなロボット操作ビデオを生成することは、エンボディエージェントの知覚、計画、行動を統合するための重要なステップである。
本稿では,(1)言語命令と第1フレームを使用するテキスト条件生成と,(2)2次元トラジェクトリオーバーレイと同一初期フレームを使用するトラジェクトリ条件生成とを含む2部構成のフレームワークを提案する。
以上の結果から,予め訓練した画像生成装置は,移動可能な時間的先行を符号化し,最小限の監督下でビデオライクなロボットプランナーとして機能する可能性が示唆された。
論文 参考訳（メタデータ） (2025-11-29T15:54:16Z) - EMMA: Generalizing Real-World Robot Manipulation via Generative Visual Transfer [35.27100635173712]
視覚言語アクション(VLA)モデルは、堅牢な一般化を達成するために、多種多様なトレーニングデータに依存している。
本稿では,VLAポリシー拡張フレームワークであるEmbodied Manipulation Media Adaptation (EMMA)を提案する。
DreamTransferは、3D構造や幾何学的妥当性を損なうことなく、ロボットビデオのテキスト制御による視覚的編集、前景、背景、照明条件の変換を可能にする。
AdaMixは、動的にトレーニングバッチを再重み付けして、知覚的あるいは運動学的に困難なサンプルに最適化する、ハードサンプル対応のトレーニング戦略である。
論文 参考訳（メタデータ） (2025-09-26T14:34:44Z) - Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。
ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳（メタデータ） (2025-08-28T14:31:48Z) - DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。
私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
論文 参考訳（メタデータ） (2025-05-19T04:55:39Z) - RealGeneral: Unifying Visual Generation via Temporal In-Context Learning with Video Models [22.042487298092883]
RealGeneralは、条件付きフレーム予測タスクとして画像生成を再構成する新しいフレームワークである。
カスタマイズされた生成の被写体類似性が14.5%向上し、キャニー・ツー・イメージの画質が10%向上した。
論文 参考訳（メタデータ） (2025-03-13T14:31:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。