論文の概要: LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models

• arxiv url: http://arxiv.org/abs/2608.05706v1
• Date: Thu, 06 Aug 2026 07:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.846264
• Title: LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models
• Title（参考訳）: LAWM-3D:汎用ロボットワールドモデルのための人間ビデオからの3D対応潜時行動学習
• Abstract要約: 世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
• 参考スコア（独自算出の注目度）: 64.11117186468533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models enable agents to perform forward rollout and planning without real-world interaction. However, their application in open-world embodied intelligence remains limited by the high cost of action annotations and the heterogeneity of action spaces across platforms. Recently, latent action models (LAMs) have alleviated this bottleneck by learning action representations directly from unlabeled human videos in a self-supervised manner. Nevertheless, most existing LAMs rely on single-view inputs and operate primarily in 2D pixel space, raising a fundamental question: can simply incorporating multi-view videos into LAM training endow the learned latent actions with 3D-aware perception? Our study shows that the answer is negative. The primary reasons lie in future-frame appearance leakage as well as inter-camera appearance discrepancies and viewpoint variations. To address these issues, we propose LAWM-3D, which introduces three tightly coupled key designs: (1) a multi-view invariant unified action tokenization scheme for learning 3D-aware latent actions; (2) a geometric alignment constraint that anchors intermediate encoder features to a pretrained 3D foundation model, thereby explicitly providing cross-view geometric correspondences; and (3) a non-injective RGB-D joint reconstruction objective that prevents shortcut learning from future-frame appearance information, forcing the LAM to focus supervision on motion cues with geometric significance. Importantly, these components are not simply stacked but are tightly coupled through a unified motivation. Built upon a two-stage paradigm of large-scale human video pretraining followed by robot fine-tuning, extensive experiments demonstrate that the proposed 3D-aware latent actions significantly improve world model performance, achieving SOTA results in generation quality, physical consistency, and generalization ability.
• Abstract（参考訳）: 世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 しかし、オープンワールドエンボディインテリジェンスにおけるそれらの応用は、高コストのアクションアノテーションとプラットフォーム間のアクション空間の不均一性によって制限されている。 近年、LAM(Latent Action Model)は、ラベルのない人間のビデオから直接、自己監督的な方法でアクション表現を学習することで、このボトルネックを緩和している。 しかし、既存のほとんどのLAMはシングルビュー入力に依存しており、主に2Dピクセル空間で動作しており、基本的な疑問を提起している。 私たちの研究は答えが否定的であることを示している。 主な理由は、将来のフレームの外観リークと、カメラ間の外観の違いと視点の変化である。 これらの課題に対処するため, LAWM-3Dは, 1) 3D対応の潜伏動作を学習するための多視点不変統一アクショントークン化スキーム, 2) 中間エンコーダ特徴を予め訓練された3D基礎モデルに固定し, 相互視の幾何学的対応を明示的に提供する幾何アライメント制約, 3) 将来の外観情報からのショートカット学習を防止し, LAMが幾何的な意味を持つ動きキューに焦点を合わせることを強制する非インジェクティブRGB-D共同再構築目標の3つの密結合鍵設計を提案する。 重要なのは、これらのコンポーネントは単に積み重ねられているのではなく、統一されたモチベーションによって密結合されていることです。 大規模人間のビデオ事前トレーニングとロボットの微調整による2段階のパラダイムに基づいて、提案された3D対応潜伏動作が世界モデルの性能を大幅に向上し、SOTAの達成によって生成品質、物理的整合性、一般化能力が向上することを示した。

関連論文リスト

• PAIWorld: A 3D-Consistent World Foundation Model for Robotic Manipulation [51.385664546670284]
  PAIWorldは3つのコアコンポーネントを通じて拡散変圧器の世界モデルを拡張するフレームワークである。 ロボットベンチマークで最先端のマルチビュー3D一貫性を実現し、WorldArenaのリーダーボードで1位、AgiBot-Challenge2026のリーダーボードで2位にランクインした。
  論文  参考訳（メタデータ） (2026-06-16T18:23:23Z)
• 3DThinkVLA: Endowing Vision-Language-Action Models with Latent 3D Priors via 3D-Thinking-Guided Co-training [19.5808550016589]
  3次元幾何学的知覚と3次元空間的推論は、異なる特徴階層で切り離され、注入される異なる能力である。 本稿では,視覚言語行動モデル(VLA)が行動予測中に暗黙的に3次元空間推論を行うことを可能にする3次元思考誘導協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-03T04:34:07Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
  本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。 幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。 動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
  論文  参考訳（メタデータ） (2026-05-12T09:21:29Z)
• 3DreamBooth: High-Fidelity 3D Subject-Driven Video Generation Model [18.407923160013404]
  本稿では,3DreamBoothと3Dapterを組み合わせた3D対応ビデオカスタマイズフレームワークを提案する。 3DreamBoothは1フレーム最適化のパラダイムを通じて時間運動から空間幾何学を分離する。 きめ細かいテクスチャを強化し,収束を加速するために,視覚条件モジュールである3Dapterを組み込んだ。
  論文  参考訳（メタデータ） (2026-03-19T06:14:05Z)
• PnP-U3D: Plug-and-Play 3D Framework Bridging Autoregression and Diffusion for Unified Understanding and Generation [45.72473673810981]
  本稿では,自己回帰と拡散を組み合わせた3次元理解・生成のための最初の統合フレームワークを提案する。 軽量トランスは、大きな言語モデルの特徴空間と3次元拡散モデルの条件空間を橋渡しする。 本フレームワークは,多種多様な3次元理解および生成ベンチマークにおける最先端性能を実現するとともに,3次元編集タスクにも優れる。
  論文  参考訳（メタデータ） (2026-02-03T13:49:23Z)
• UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
  統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。 本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
  論文  参考訳（メタデータ） (2025-12-03T16:03:18Z)
• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。