論文の概要: RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination
- arxiv url: http://arxiv.org/abs/2607.14187v1
- Date: Wed, 15 Jul 2026 15:45:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.857536
- Title: RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination
- Title（参考訳）: RxBrain: 共用言語-視覚的推論とイマジネーションを用いた身体的認知基盤モデル
- Abstract要約: 身体的認知は、エージェントが達成すべき物理的状態と高レベルのタスク推論を結びつける必要がある。
本稿では,共同言語-視覚的推論と想像力を備えた認知基盤モデルであるHy-Embodied-RxBrainを紹介する。
- 参考スコア（独自算出の注目度）: 46.784919366939384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied cognition requires agents to connect high-level task reasoning with the physical states to be achieved. We introduce Hy-Embodied-RxBrain, an embodied cognition foundation model with joint language-visual reasoning and imagination. Unlike vision-language models that emphasize scene understanding and textual decision making, or generative world models that mainly predict future visual states, RxBrain represents embodied plans in a single planning sequence where language and visual imagination play complementary roles. Language provides the abstract structure of a plan, including task decomposition, planning primitives, constraints, temporal order, and decision logic, while visual imagination grounds this structure through world state prediction and joint subgoal planning, associating each planning step with intermediate and final physical states. RxBrain adopts a unified multimodal Mixture-of-Transformers architecture that supports language, image, and video understanding and generation within one model. To train this capability, we build an automatic pipeline that converts embodied videos into joint text-visual planning supervision by decomposing videos into planning steps and aligning them with visual state transitions. We further introduce RxBrain-Bench to evaluate whether models can represent embodied plans through joint textual and visual components rather than separate understanding or generation. Experiments show that RxBrain maintains embodied understanding and generation abilities, and produces plans with coupled textual reasoning, world state prediction, and joint subgoal planning. We also extend RxBrain to continuous robot action generation, where it shows promising real-robot performance without large-scale action-data pretraining. These results provide an initial step toward foundation models for embodied cognition.
- Abstract（参考訳）: 身体的認知は、エージェントが達成すべき物理的状態と高レベルのタスク推論を結びつける必要がある。
本稿では,共同言語-視覚的推論と想像力を備えた認知基盤モデルであるHy-Embodied-RxBrainを紹介する。
シーン理解とテキストによる意思決定を強調する視覚言語モデルや、将来の視覚状態を主に予測する生成世界モデルとは異なり、RxBrainは言語と視覚的想像力が相補的な役割を果たす単一の計画シーケンスで具体化された計画を表現する。
言語は、タスク分解、計画的プリミティブ、制約、時間的順序、決定論理を含む計画の抽象的な構造を提供し、視覚的想像力は、この構造を世界国家の予測と共同のサブゴール計画を通じて基礎とし、計画の各ステップを中間的および最終的物理的状態に関連付ける。
RxBrainでは、言語、画像、ビデオの理解と生成をひとつのモデルでサポートするマルチモーダルなMixture-of-Transformersアーキテクチャを採用している。
この能力を訓練するために、私たちは、映像を計画ステップに分解し、それらを視覚状態遷移と整合させることで、エンボディされた映像を共同でテキスト・視覚計画監督に変換する自動パイプラインを構築しました。
さらに、RxBrain-Benchを導入し、モデルが個別の理解や生成ではなく、共同のテキストおよび視覚的コンポーネントを通して具体的計画を表現することができるかどうかを評価する。
実験の結果、RxBrainは具体的理解と生成能力を維持しており、テキスト推論、世界状態予測、共同サブゴール計画による計画を生成することがわかった。
また、RxBrainを連続したロボットアクション生成に拡張し、大規模なアクションデータ事前トレーニングなしで、有望な実ロボットのパフォーマンスを示す。
これらの結果は、認知を具現化するための基礎モデルに向けた最初のステップを提供する。
関連論文リスト
- iFLYTEK-Embodied-Omni Technical Report [30.02389585663246]
汎用的な実施エージェントは、マルチモーダルな指示を理解し、環境がどのように進化するかを予測し、拡張水平線上で正確な制御アクションを生成する必要がある。
iFLYTEK-Embodied-Omniは、単一のOmniフレームワーク内で視覚(ビデオと画像)、言語、アクションを共同でモデル化する統合マルチモーダル基盤モデルである。
論文 参考訳（メタデータ） (2026-06-24T00:25:44Z) - UniUGP: Unifying Understanding, Generation, and Planing For End-to-end Autonomous Driving [35.86460001147528]
複雑なシナリオに対する推論と計画アノテーションを提供する特別なデータセットを構築します。
シーン推論,将来の映像生成,軌道計画の相乗化を目的として,UniUGPという統合理解・生成・計画フレームワークを提案する。
実験は、認識、推論、意思決定における最先端のパフォーマンスを示し、ロングテールな状況に挑戦するために優れた一般化を行う。
論文 参考訳（メタデータ） (2025-12-10T17:50:29Z) - Learning Primitive Embodied World Models: Towards Scalable Robotic Learning [50.32986780156215]
我々は,世界モデリングのための新しいパラダイム--Primitive Embodied World Models (PEWM)を提案する。
ビデオ生成を固定的な短地平線に制限することにより,ロボット行動の言語概念と視覚的表現の微妙なアライメントを可能にする。
我々のフレームワークは、きめ細かい物理的相互作用と高レベルの推論のギャップを埋め、スケーラブルで解釈可能で汎用的なインテリジェンスへの道を開く。
論文 参考訳（メタデータ） (2025-08-28T14:31:48Z) - Visual Planning: Let's Think Only with Images [46.501897093584965]
我々は、特に空間的情報や幾何学的情報を含むタスクにおいて、言語が推論において最も自然で効果的なモダリティであるとは限らないと論じる。
そこで我々は,これらの「ビジョンファースト」タスクを純粋に視覚的に表現して計画できる新しいパラダイム「ビジュアルプランニング」を提案する。
このパラダイムでは、計画は視覚領域におけるステップバイステップの推論を符号化する一連の画像を通して実行される。
論文 参考訳（メタデータ） (2025-05-16T16:17:22Z) - Can-Do! A Dataset and Neuro-Symbolic Grounded Framework for Embodied Planning with Large Multimodal Models [85.55649666025926]
具体的計画能力を評価するために設計されたベンチマークデータセットであるCan-Doを紹介する。
私たちのデータセットには400のマルチモーダルサンプルが含まれており、それぞれが自然言語のユーザ指示、環境を描写した視覚イメージ、状態変化、対応するアクションプランで構成されています。
ニューログラウンド(NeuroGround)は、まず認識された環境状態において計画生成を基礎とし、次に象徴的な計画エンジンを活用してモデル生成計画を強化する、ニューログラウンド(NeuroGround)を提案する。
論文 参考訳（メタデータ） (2024-09-22T00:30:11Z) - Using Left and Right Brains Together: Towards Vision and Language
Planning [95.47128850991815]
本稿では,任意の形態の入力を伴うタスクに対して,視覚と言語を同時に計画する新しい視覚言語計画フレームワークを提案する。
我々は,視覚言語タスク,視覚のみタスク,言語のみタスクにまたがるフレームワークの有効性を評価する。
論文 参考訳（メタデータ） (2024-02-16T09:46:20Z) - Compositional Foundation Models for Hierarchical Planning [52.18904315515153]
本稿では,言語,視覚,行動データを個別に訓練し,長期的課題を解決するための基礎モデルを提案する。
我々は,大規模なビデオ拡散モデルを用いて,環境に根ざした記号的計画を構築するために,大規模言語モデルを用いている。
生成したビデオプランは、生成したビデオからアクションを推論する逆ダイナミクスモデルを通じて、視覚運動制御に基礎を置いている。
論文 参考訳（メタデータ） (2023-09-15T17:44:05Z) - Learning Universal Policies via Text-Guided Video Generation [179.6347119101618]
人工知能の目標は、幅広いタスクを解決できるエージェントを構築することである。
テキスト誘導画像合成の最近の進歩は、複雑な新規画像を生成する印象的な能力を持つモデルを生み出している。
このようなツールがより汎用的なエージェントの構築に利用できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-01-31T21:28:13Z) - See, Plan, Predict: Language-guided Cognitive Planning with Video
Prediction [27.44435424335596]
言語誘導ビデオ予測による認知計画アルゴリズムを考案する。
このネットワークには、未知のオブジェクトに一般化された自然言語入力に基づいて概念を基底化する能力が備わっている。
論文 参考訳（メタデータ） (2022-10-07T21:27:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。