論文の概要: GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
- arxiv url: http://arxiv.org/abs/2609.17099v1
- Date: Tue, 15 Sep 2026 12:31:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.521753
- Title: GeoLAM: Learning Geometry-Grounded Latent Actions from Unlabeled Human Videos
- Title（参考訳）: GeoLAM: ラベルのない人間のビデオから幾何学を学習する潜在行動
- Abstract要約: そこで,GeoLAMについて紹介する。GeoLAMは,アクションフリーな人間のビデオから幾何学的特徴を学習するためのフレームワークである。
GeoLAMは、凍結した幾何学的特徴階層による将来のフレーム再構築と、トレーニング専用の4D幾何学教師の運動監督を組み合わせる。
- 参考スコア（独自算出の注目度）: 8.414561051327915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human videos provide rich manipulation experience, but extracting action representations that preserve useful motion remains challenging. Visual reconstruction alone can entangle manipulation-related motion with appearance changes and camera movement. We present GeoLAM, a framework for learning geometry-grounded latent actions from action-free human videos. GeoLAM combines future-frame reconstruction through a frozen geometric feature hierarchy with motion supervision from a training-only 4D geometry teacher. The geometric representation provides a structural prior, while the teacher's predictions yield spatially pooled targets capturing 3D displacement, residual image-plane motion, and surface-orientation changes. Visibility and confidence weighting reduces the contribution of unreliable estimates, encouraging continuous latent actions to retain geometric motion without explicit hand-pose or hand-trajectory annotations. After video pretraining without action labels, the learned representation provides transition targets for a world-action model trained on action-labeled robot demonstrations. The model jointly denoises latent actions and executable action chunks, with future-video prediction used only as an auxiliary training task. Deployment therefore requires neither the geometry teacher nor future-video generation. Evaluations on a latent-action benchmark and robotic manipulation tasks demonstrate the strong performance of GeoLAM.
- Abstract（参考訳）: ヒューマンビデオはリッチな操作体験を提供するが、有用な動作を保存するアクション表現を抽出することは依然として困難である。
視覚的再構成単独では、操作に関連する動きを、外観の変化とカメラの動きで絡み合わせることができる。
そこで,GeoLAMについて紹介する。GeoLAMは,アクションフリーな人間のビデオから幾何学的特徴を学習するためのフレームワークである。
GeoLAMは、凍結した幾何学的特徴階層による将来のフレーム再構築と、トレーニング専用の4D幾何学教師の運動監督を組み合わせる。
幾何学的表現は、教師の予測が空間的にプールされた目標を3次元変位、残像面の動き、面配向の変化を捉えながら、構造的な事前を与える。
可視性と信頼性の重み付けは信頼できない見積もりの寄与を減らし、明示的な手動や手動のアノテーションを使わずに幾何的な動きを維持する連続的な潜行行動を奨励する。
アクションラベルなしのビデオ事前トレーニングの後、学習された表現は、アクションラベル付きロボットのデモに基づいてトレーニングされた世界アクションモデルの遷移ターゲットを提供する。
このモデルは遅延アクションと実行可能なアクションチャンクを共同で認知し、将来のビデオ予測は補助訓練タスクとしてのみ使用される。
そのため、配置は幾何学教師も将来のビデオ生成も必要としない。
潜時動作ベンチマークとロボット操作タスクの評価はGeoLAMの強力な性能を示している。
関連論文リスト
- GeomVLA: Unifying Scene, Motion, and Action in 3D [19.277341680583834]
ロボット中心の3D座標フレーム内での知覚,潜時シーンの予測,行動生成を統一するモデルであるGeomVLAを提案する。
提案手法は, 深度とカメラキャリブレーションを用いた空間的に接地された3次元シーントークンに, 予め訓練したVLM特徴を持ち上げる。
本稿では,3D におけるシーンポイントの移動の遅延表現を学習するタスク条件付きモジュールである 3D Scene Trajectory Denoiser を紹介する。
論文 参考訳（メタデータ） (2026-09-12T08:51:52Z) - LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。
既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。
LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
論文 参考訳（メタデータ） (2026-08-06T07:47:01Z) - WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。
WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
論文 参考訳（メタデータ） (2026-07-13T11:02:04Z) - Learning 4D Geometric Priors for Inference-Efficient World Action Models [26.63633606928882]
World Action Models (WAM) は、視覚的な未来のダイナミクスと実行可能なアクションシーケンスを共同でモデル化することで、ロボット操作の強力な可能性を示している。
我々は,アクション関連4次元幾何学的先行をビデオアクション表現に注入するマルチエキスパート・コレーティング・ワールド・アクション・モデルMECo-WAMを提案する。
LIBERO (98.2%)、RoboTwin 2.0 (92.6%)、そして現実世界の操作タスクに対する挑戦的な実験は、MECo-WAMが推論コストを増大させることなく操作性能を改善することを示した。
論文 参考訳（メタデータ） (2026-07-06T07:10:22Z) - Geometry-Aware Motion Latents for Learning Robust Manipulation Policies [17.407684641239083]
我々はGeoMoLaを紹介した。これは、操作中に点雲がどのように進化するかを予測することで、離散的な動き潜時符号を学習する。
GeoMoLaは、単一ビューのRGB-D入力のみを使用して最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-07-06T06:34:14Z) - Supervise What Survives: Geometry-Guided VLA Adaptation from Synthetic Robot Videos [43.32573764638152]
生成した視覚から低レベル制御を導出することは、ミスマッチした抽象化である、と我々は主張する。
我々は、将来の2次元エンドエフェクタ・ウェイポイントとして幾何学的コンテンツを抽出するtextbfGRAを提案する。
実際のロボットタスクでは、GRAは一致したデータ予算の下で擬似アクションベースラインを上回ります。
論文 参考訳（メタデータ） (2026-06-23T11:35:13Z) - WAM4D: Fast 4D World Action Model via Spatial Register Tokens [52.16661403052964]
WAM4Dは,軽量空間レジスタトークンを用いた高速4次元世界アクションモデルである。
WAM4Dは空間的整合性を向上し,効率的な推論を維持しつつ,競争力のある動作予測を実現する。
論文 参考訳（メタデータ） (2026-06-12T02:49:34Z) - GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors [113.71148915419246]
GRAILは3Dアセット、シミュレーター対応シーン、およびビデオファンデーションモデル(VFM)の先行データで構成され、物理的環境を再構築したりロボットを遠隔操作したりすることなく対話を合成するデジタル生成パイプラインである。
GRAILは、オブジェクト形状、カメラパラメータ、メートル法スケール、環境深度、ロボットが提案する文字がビデオ生成の前に知られ、再構成中に再利用される、完全に定義された3D構成から始まる。
我々は、回復した動作をヒューマノイドロボットに再ターゲティングし、補完的なタスク・ジェネラル・モルフォロジー・トラッカーを訓練する。
GRAILは、ピックアップ、オブジェクト操作、着座にまたがる2万以上のシーケンスを生成する
論文 参考訳（メタデータ） (2026-06-03T17:57:45Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳（メタデータ） (2026-02-17T17:09:45Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。