Fugu-MT 論文翻訳(概要): iFLYTEK-Embodied-Omni Technical Report

論文の概要: iFLYTEK-Embodied-Omni Technical Report

arxiv url: http://arxiv.org/abs/2607.02542v1
Date: Wed, 24 Jun 2026 00:25:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-13 07:26:11.067849
Title: iFLYTEK-Embodied-Omni Technical Report
Title（参考訳）: iFLYTEK-Embodied-Omni 技術報告
Abstract要約: 汎用的な実施エージェントは、マルチモーダルな指示を理解し、環境がどのように進化するかを予測し、拡張水平線上で正確な制御アクションを生成する必要がある。 iFLYTEK-Embodied-Omniは、単一のOmniフレームワーク内で視覚(ビデオと画像)、言語、アクションを共同でモデル化する統合マルチモーダル基盤モデルである。
参考スコア（独自算出の注目度）: 30.02389585663246
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: General-purpose embodied agents must understand multimodal instructions, anticipate how their environment will evolve, and produce precise control actions over extended horizons. Existing approaches typically specialize in visual-language reasoning, video-based world modeling, or action generation, while cascaded pipelines that first synthesize future observations and then infer actions can introduce interface bottlenecks and compound prediction errors. We present iFLYTEK-Embodied-Omni, a unified multimodal foundation model that jointly models vision(videos and images), language, and action within a single Omni framework. Its modality-specific visual-language, video-generation, and action-generation components communicate through shared multimodal self-attention. This design establishes brain-cerebellum collaboration: the vision-language modeland video generation model form a high-level brain for instruction understanding, task planning, progress tracking, and future visual-state prediction, whereas the action generation modelserves as a low-level cerebellum that directly converts planned subgoals and shared multimodal context into executable action chunks. To develop these capabilities, we combine action-annotated and action-free embodied videos from human demonstrations and robot interactions with embodied reasoning, embodied perception, and general-purpose image-text data to construct a comprehensive dataset. We further adopt a four-stage strategy that progressively trains the VLM, VGM, and AGM before jointly fine-tuning the complete model.
Abstract（参考訳）: 汎用的な実施エージェントは、マルチモーダルな指示を理解し、環境がどのように進化するかを予測し、拡張水平線上で正確な制御アクションを生成する必要がある。既存のアプローチは一般的に視覚言語推論、ビデオベースの世界モデリング、アクション生成に特化しているが、将来の観測を最初に合成し、次にアクションを推論するカスケードパイプラインは、インターフェースボトルネックや複合予測エラーを導入できる。 iFLYTEK-Embodied-Omniは、単一のOmniフレームワーク内で視覚(ビデオと画像)、言語、アクションを共同でモデル化する統合マルチモーダル基盤モデルである。モダリティ固有の視覚言語、ビデオ生成、アクション生成コンポーネントは、共有されたマルチモーダルな自己注意を通して通信する。視覚言語モデルとビデオ生成モデルは、指示理解、タスク計画、進捗追跡、将来の視覚状態予測のための高レベル脳を形成し、一方、アクション生成モデルは、計画されたサブゴールと共有マルチモーダルコンテキストを直接実行可能なアクションチャンクに変換する低レベル脳として保存する。これらの機能を開発するために、人間の実演とロボットの相互作用から得られたアクションアノテートおよびアクションフリーなエンボディドビデオと、エンボディド推論、エンボディドインセプション、汎用画像テキストデータを組み合わせて包括的なデータセットを構築する。我々はさらに、VLM、VGM、AGMを段階的に訓練する4段階戦略を採用し、その後に完全モデルを微調整する。

関連論文リスト

RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination [46.784919366939384]
身体的認知は、エージェントが達成すべき物理的状態と高レベルのタスク推論を結びつける必要がある。本稿では,共同言語-視覚的推論と想像力を備えた認知基盤モデルであるHy-Embodied-RxBrainを紹介する。
論文参考訳（メタデータ） (2026-07-15T15:45:25Z)
From World Action Models to Embodied Brains: A Roadmap for Open-World Physical Intelligence [54.62791372989525]
アクションモデル、ビジョン言語-アクションポリシー、世界モデルは、この目標を前進させた。世界行動モデル(WAM)は、候補者の介入と予測された結果とを結びつけるため、特に有望である。我々は、WAMへの進化をレビューし、これらの制限をモデルの役割と表現、目的と標準化、システム構成という3つの組み合わせのギャップにまとめる。
論文参考訳（メタデータ） (2026-07-13T15:22:56Z)
MotuBrain: An Advanced World Action Model for Robot Control [23.733029557644354]
We present MotuBrain, a unified World Action Model that jointly model video and action under a UniDiffuser formulation。単一のモデルは、ポリシー学習、世界モデリング、ビデオ生成、逆ダイナミクス、共同ビデオアクション予測をサポートする。 Motus上に構築されているMotuBrainは、言語と相互作用の結合を強くするための独立したテキストストリームである、統一されたマルチビューモデリングも導入している。我々の推論スタックは、ステップの削減、コンパイル、FP8量子化、DiTキャッシュ、V2Aスタイルのアクション専用推論、リアルタイムチャンククループ実行を組み合わせたものです。
論文参考訳（メタデータ） (2026-04-30T12:34:44Z)
Causal World Modeling for Robot Control [56.31803788587547]
ビデオワールドモデルは、アクションと視覚力学の因果関係を理解することによって、近い将来に想像できる能力を提供する。本稿では,フレーム予測とポリシ実行を同時に学習する自動回帰拡散フレームワークLingBot-VAを紹介する。シミュレーションベンチマークと実世界のシナリオの両方でモデルを評価したところ、長距離操作、ポストトレーニングにおけるデータ効率、新しい構成への強力な一般化性などに大きな可能性を示唆している。
論文参考訳（メタデータ） (2026-01-29T17:07:43Z)
VideoVLA: Video Generators Can Be Generalizable Robot Manipulators [86.70243911696616]
ロボット操作の一般化は、オープンワールド環境におけるロボットの展開に不可欠である。本稿では,大容量ビデオ生成モデルをロボットVLAマニピュレータに変換する可能性を探る,シンプルなアプローチであるVideoVLAを提案する。
論文参考訳（メタデータ） (2025-12-07T18:57:15Z)
Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文参考訳（メタデータ） (2025-08-28T14:31:48Z)
Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
論文参考訳（メタデータ） (2025-08-27T13:09:55Z)
DrivingGPT: Unifying Driving World Modeling and Planning with Multi-modal Autoregressive Transformers [61.92571851411509]
我々は、インターリーブ画像とアクショントークンに基づくマルチモーダル駆動言語を導入し、共同世界モデリングと計画を学ぶためのDrivingGPTを開発した。我々のDrivingGPTは、アクション条件付きビデオ生成とエンドツーエンドプランニングの両方において強力なパフォーマンスを示し、大規模なnuPlanとNAVSIMベンチマークにおいて強力なベースラインを達成しています。
論文参考訳（メタデータ） (2024-12-24T18:59:37Z)
iVideoGPT: Interactive VideoGPTs are Scalable World Models [70.02290687442624]
世界モデルは、現実の意思決定のために想像された環境の中で、モデルベースのエージェントを対話的に探索し、推論し、計画することを可能にする。マルチモーダルな信号 – 視覚的観察,アクション,報酬 – を統合した,スケーラブルな自己回帰型トランスフォーマーフレームワークであるInteractive VideoGPTを導入する。 iVideoGPTは、高次元の視覚的観察を効率的に識別する新しい圧縮トークン化技術を備えている。
論文参考訳（メタデータ） (2024-05-24T05:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。