論文の概要: UniFlowWAM: A Unified World-Action Model with Visual Semantics and 4D Geometry

• arxiv url: http://arxiv.org/abs/2610.30991v1
• Date: Thu, 22 Oct 2026 09:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.305187
• Title: UniFlowWAM: A Unified World-Action Model with Visual Semantics and 4D Geometry
• Title（参考訳）: UniFlowWAM:ビジュアルセマンティックスと4次元幾何を用いた統一ワールドアクションモデル
• Abstract要約: シーンレベルの3Dフローは、3Dシーンポイントを追跡し、4D幾何学で世界表現を提供する。 我々は,UniFlowWAMを紹介した。UniFlowWAMは3次元シーンフローを視覚とアクションに匹敵する第3のモダリティを与える統一ワールド・アクション・モデルである。
• 参考スコア（独自算出の注目度）: 40.38974033857527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot demonstrations record what the robot saw and what it did. They do not specify how the 3D world changed in between. Scene-level 3D flow describes it by tracking 3D scene points, providing the world representation with 4D geometry. Prior work has used flow to improve robot policies. Flow served as an intermediate prediction that a separate model converts into actions, as a prior injected at inference time, or as an extra output learned together with the action. In all of these designs, flow stays outside the policy, as a separate module or as an extra prediction head. We introduce UniFlowWAM, a Unified World-Action Model that makes 3D scene flow a third modality on par with vision and action. Its world representation therefore covers both visual semantics, through future visual features, and 4D geometry, through 3D flow, and flow receives its own supervision. UniFlowWAM is a diffusion transformer with one expert per modality, and the three experts exchange information through joint attention. We train UniFlowWAM under a ten-objective role grid, where each objective assigns every modality exactly one of three roles, namely target, condition, or absent. The same model thus serves as a policy, as forward and inverse dynamics, and as a predictor of future visual features or 3D flow. We evaluate UniFlowWAM on RoboCasa-GR1, LIBERO, and LIBERO-Plus in simulation, and on four real-world bimanual manipulation tasks. On RoboCasa-GR1, UniFlowWAM raises the success rate of its base model without flow from 52.1% to 56.4%. It preserves in-distribution success on LIBERO at 98.1% and reaches 87.7% zero-shot on LIBERO-Plus. On the real robot, it achieves 87.0% average success, compared with 68.5% for the strongest baseline.
• Abstract（参考訳）: ロボットのデモでは、ロボットが何を見たのか、何をしたのかが記録される。 その間に3Dの世界がどのように変化したのかは定かではない。 シーンレベルの3Dフローは、3Dシーンポイントを追跡し、4D幾何学で世界表現を提供する。 これまでは、フローを使ってロボットのポリシーを改善してきた。 フローは、独立したモデルがアクションに変換される中間的な予測として機能し、推論時に事前に注入される、あるいはアクションと一緒に学習された余分な出力として機能する。 これらすべての設計において、フローはポリシーの外に留まり、別個のモジュールとして、または余分な予測ヘッドとして保持される。 我々は,UniFlowWAMを紹介した。UniFlowWAMは3次元シーンフローを視覚とアクションに匹敵する第3のモダリティを与える統一ワールド・アクション・モデルである。 その世界表現は、将来の視覚的特徴を通して視覚的意味論と3次元フローを通して4次元幾何学の両方をカバーし、フローは独自の監督を受ける。 UniFlowWAMは拡散変圧器であり,3人の専門家は共同で情報交換を行う。 UniFlowWAMを10目的のロールグリッドでトレーニングし、それぞれの目的が、ターゲット、条件、欠如という3つのロールのうちの1つを正確に全てのモダリティを割り当てる。 したがって、同じモデルはポリシーとして機能し、前方および逆ダイナミクスとして機能し、将来の視覚的特徴や3Dフローの予測器として機能する。 シミュレーションでは,RoboCasa-GR1, LIBERO, LIBERO-PlusのUniFlowWAMと4つの実世界のバイマン的操作タスクについて検討した。 RoboCasa-GR1では、UniFlowWAMはベースモデルの成功率を52.1%から56.4%に引き上げている。 LIBEROの流通成功率は98.1%であり、LIBERO-Plusでは87.7%に達する。 本物のロボットでは87.0%の平均的な成功を達成し、最強のベースラインは68.5%である。

関連論文リスト

• UNITAS: A 3D-Native World Action Model for Embodied Manipulation [65.5089751130735]
  UNITASは、各インタラクション内の共有メトリック3Dフレーム内の観察、アクション、シーンダイナミクスを統一する最初の3Dネイティブな世界アクションモデルである。 1.7Bパラメータで、UNITASはRoboTwin上で最高のアクション条件のシーン予測を達成する。
  論文  参考訳（メタデータ） (2026-10-08T15:02:50Z)
• DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation [11.665741844323984]
  我々は、ビデオ生成がワールドアクションモデリングの不要な目的であると主張している。 ロボット操作においては、世界モデルの目的は、中間の瞬間に世界がどのように見えるかを再現するのではなく、アクションの実行後に世界が到達する状態を予測することである。 本稿では,映像生成に頼らずに将来予測状態からロボット動作を推定するDELE-w0.5を提案する。
  論文  参考訳（メタデータ） (2026-08-22T18:17:36Z)
• Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied Navigation [60.07205156194741]
  身体的なナビゲーションでは、エージェントが言語や視覚的な観察を、実際に見たことのない環境を通して実際のロボットを駆動する空間的な行動の流れにマッピングする必要がある。 統合エージェントアーキテクチャであるUni-LaViRAを4つのタスクファミリと4つの異種実ロボットに拡張する。
  論文  参考訳（メタデータ） (2026-05-26T18:52:04Z)
• PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation [48.807071017228964]
  我々は,3次元の点流として共有された3次元空間における状態と動作を統一する,大規模な事前学習型3次元世界モデルであるPointWorldを紹介した。 リアルタイム(0.1秒)の推論速度により、PointWorldは、操作のためのモデル予測制御(MPC)フレームワークに効率的に統合できる。 本研究では,実世界のフランカロボットが,物体の剛体押圧,変形,調音操作を行うことのできる1つの事前学習チェックポイントを実証した。
  論文  参考訳（メタデータ） (2026-01-07T10:29:12Z)
• 4D Visual Pre-training for Robot Learning [71.22906081161324]
  ロボット工学のためのWebスケールデータセットから得られた一般的な視覚表現は、近年大きな成功を収めている。 しかし、これらの事前訓練された表現は、主に2D画像に基づいており、世界の固有の3Dの性質を無視している。 代替として、すべての3D表現を改善することのできる、一般的なビジュアル事前学習フレームワークを模索しています。 我々のフレームワークはFVPと呼ばれ、現実世界のロボット学習のための新しい4Dビジュアル事前学習フレームワークである。
  論文  参考訳（メタデータ） (2025-08-24T07:06:56Z)
• FlowDreamer: A RGB-D World Model with Flow-based Motion Representations for Robot Manipulation [31.743202585058302]
  本稿では,3次元シーンフローを明示的な動作表現として採用したFlowDreamerを紹介する。 FlowDreamerは、モジュール化された性質にもかかわらず、エンドツーエンドで訓練されている。
  論文  参考訳（メタデータ） (2025-05-15T08:27:16Z)
• Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
  本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。 まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。 この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。 両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
  論文  参考訳（メタデータ） (2024-09-26T17:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。