論文の概要: Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
- arxiv url: http://arxiv.org/abs/2607.07675v1
- Date: Wed, 08 Jul 2026 17:33:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.477511
- Title: Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
- Title（参考訳）: バイオインテリジェンスのためのエクササイズ・オブ・エクササイズビデオプレトレーニング
- Abstract要約: LingBot-Videoは、インテリジェンスを具体化するための、DiTベースのビデオ事前訓練のパラダイムだ。
データの観点からは、標準的なインターネットビデオにロボット指向の広範な映像を付加するデータプロファイリングエンジンを構築する。
トレーニングの観点から,身体的合理性とタスク完了に関するアライメントを強制する多次元報酬システムを開発する。
- 参考スコア（独自算出の注目度）: 73.39562379177796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the recent promise in robot control, video generative models suffer from a domain mismatch due to their primary focus on content creation. For example, their design inherently prioritizes visual fidelity and creativity over computational efficiency and physical realism. In this work, we present LingBot-Video, a DiT-based video pretraining paradigm specifically tailored for embodied intelligence. From the architecture perspective, we adopt the Mixture-of-Experts (MoE), instead of dense, framework to achieve a better trade-off between modeling capacity and inference efficiency, and manage to scale it up from scratch. From the data perspective, we construct a data profiling engine that augments standard internet videos with extensive robot-oriented footage, encompassing manipulation, navigation, and egocentric perspectives, to equip the base model with an intrinsic understanding of actions and world dynamics. From the training perspective, we develop a multi-dimensional reward system to enforce the alignment regarding physical rationality and task completion, going beyond standard criteria such as aesthetics, prompt-following, and motion consistency. Comprehensive evaluations validate its performance and efficiency as a video foundation model. We contribute LingBot-Video as the inaugural large-scale, open-source MoE video foundation model to the community, in a pioneering effort to bridge digital creativity and physical actuation.
- Abstract（参考訳）: ロボット制御における最近の約束にもかかわらず、ビデオ生成モデルはコンテンツ制作に重点を置いているため、ドメインミスマッチに悩まされている。
例えば、それらのデザインは本質的に、計算効率や物理リアリズムよりも視覚的忠実さと創造性を優先している。
本稿では,インボディードインテリジェンスに特化して開発された,DiTベースのビデオ事前学習パラダイムであるLingBot-Videoを紹介する。
アーキテクチャの観点からは、モデリング能力と推論効率のトレードオフを改善するために、密集したフレームワークではなく、Mixture-of-Experts(MoE)を採用しています。
データの観点からは、操作、ナビゲーション、エゴセントリックな視点を含む、ロボット指向の広範な映像で標準的なインターネットビデオを拡張するデータプロファイリングエンジンを構築し、アクションと世界ダイナミクスの本質的な理解をベースモデルに装備する。
トレーニングの観点から,身体的合理性とタスク完了に関するアライメントを強制する多次元報酬システムを開発した。
総合評価は、ビデオ基盤モデルとしての性能と効率を評価する。
我々は、デジタルクリエイティビティと物理的な動きを橋渡しする先駆的な取り組みとして、LingBot-Videoを、大規模なオープンソースのMoEビデオファンデーションモデルとしてコミュニティにコントリビュートする。
関連論文リスト
- Building a Precise Video Language with Human-AI Oversight [63.57293532815199]
CHAI (Critique-based Human-AI Oversight) は、訓練された専門家がモデル言語のプレキャプションを改良されたポストキャプションに批判し、修正するフレームワークである。
我々の枠組みは、我々の監視フレームワークによって保証された正確さ、リコール、建設性の批判的品質が、下流のパフォーマンスを直接支配していることを示している。
論文 参考訳（メタデータ） (2026-04-22T09:01:04Z) - DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos [110.98100817695307]
私たちはDreamDojoを紹介します。DreamDojoは、多種多様なインタラクションと、エゴセントリックな人間ビデオの44万時間から厳密なコントロールを学ぶ基礎的な世界モデルです。
本研究は, 遠隔操作, 政策評価, モデルベース計画など, 生成的世界モデルに基づくいくつかの重要な応用を可能にする。
論文 参考訳（メタデータ） (2026-02-06T18:49:43Z) - ReWorld: Multi-Dimensional Reward Modeling for Embodied World Models [27.729654985554372]
ReWorldは、強化学習を活用して、物理リアリズム、タスク完了能力、実施可能性、視覚的品質をビデオベースで具現化した世界モデルと整合させることを目的としたフレームワークである。
本研究では,ReWorldが生成したロールアウトの物理的忠実度,論理的コヒーレンス,具体化,視覚的品質を著しく改善し,従来の方法よりも優れていたことを示す。
論文 参考訳（メタデータ） (2026-01-18T14:27:10Z) - mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。
提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
論文 参考訳（メタデータ） (2025-12-17T18:47:31Z) - Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。
最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。
本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
論文 参考訳（メタデータ） (2025-12-17T18:35:54Z) - Simulating the Visual World with Artificial Intelligence: A Roadmap [48.64639618440864]
ビデオ生成は、視覚的に魅力的なクリップを生成するものから、インタラクションをサポートし、物理的な可視性を維持する仮想環境を構築するものへとシフトしている。
この調査は、この進化の体系的な概要を提供し、現代のビデオ基盤モデルを2つのコアコンポーネントの組み合わせとして概念化した。
4世代にわたる映像生成の進展を追究し,本質的な物理的妥当性を具現化した映像生成モデルを構築した。
論文 参考訳（メタデータ） (2025-11-11T18:59:50Z) - RoboScape: Physics-informed Embodied World Model [25.61586473778092]
本稿では、RGBビデオ生成と物理知識を共同で学習する統合物理インフォームドワールドモデルであるRoboScapeを紹介する。
実験によると、RoboScapeは多様なロボットシナリオにまたがって、優れた視覚的忠実度と物理的妥当性を持つビデオを生成する。
我々の研究は、エンボディドインテリジェンス研究を前進させるために、効率的な物理インフォームド世界モデルを構築するための新しい洞察を提供する。
論文 参考訳（メタデータ） (2025-06-29T08:19:45Z) - LensCraft: Your Professional Virtual Cinematographer [12.512681517449868]
インディーの映画製作者からアニメーションスタジオまで、デジタルクリエイターたちは、創造的なビジョンを正確にカメラの動きに変換するという、永続的なボトルネックに直面している。
LensCraftは、データ駆動アプローチを使用して、プロの撮影技師の専門知識を模倣することで、この問題を解決する。
LensCraftは、高い出力品質を維持しながら、計算の複雑さを著しく低減し、推論を高速化する。
論文 参考訳（メタデータ） (2025-06-01T12:43:55Z) - Masked World Models for Visual Control [90.13638482124567]
視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。
提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
論文 参考訳（メタデータ） (2022-06-28T18:42:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。