論文の概要: GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments

• arxiv url: http://arxiv.org/abs/2609.21948v1
• Date: Fri, 18 Sep 2026 16:05:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.177931
• Title: GALA: Geometry-Aware Latent Action Modeling for Vision-Language-Action Model Pretraining across Embodiments
• Title（参考訳）: GALA:身体を横断する視覚・言語・行動モデルのための幾何学的潜在行動モデリング
• Abstract要約: GALAは、画像ベースの潜伏動作を3次元のエンドエフェクタ幾何運動で強化するGeometry-Aware Latent-Actionモデリングフレームワークである。 我々は,潜伏動作のクロス・エボディメントの一般化性を改善しつつ,微細な動き情報を保存する統一エンドエフェクタ運動表現(UEMR)を導入する。 微細な運動探索, クロスボデーメント検索, 下流VLA評価実験は, GALAがエンボディメント全体にわたる一般化可能な微粒な運動をモデル化する上で有効であることを示す。
• 参考スコア（独自算出の注目度）: 13.069858187347975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning large-scale vision-language-action (VLA) models from multi-embodiment datasets remains challenging due to heterogeneous action spaces across end effectors. Although latent action models (LAMs) can learn embodiment-agnostic action representations from diverse video data, existing image-based LAMs often fail to capture fine-grained end-effector articulation, particularly finger-level geometric changes in human and dexterous robot hands. To address this limitation, we propose GALA, a Geometry-Aware Latent-Action modeling framework that augments image-based latent actions with 3D end-effector geometric motion. However, naively incorporating point clouds yields fine-grained action representations with limited shared semantics, hindering cross-embodiment pretraining. To address this issue, we introduce the Unified End-effector Motion Representation (UEMR), which preserves fine-grained motion information while improving the cross-embodiment generalizability of latent actions. Building upon UEMR, GALA combines visual latent actions that capture scene-level dynamics with geometric latent actions that capture shared fine-grained end-effector articulation, providing effective supervision for VLA pretraining from multi-embodiment data, including action-free ego-centric human videos. Experiments on fine-grained motion probing, cross-embodiment retrieval, and downstream VLA evaluation demonstrate GALA's effectiveness in modeling generalizable fine-grained motions across embodiments, achieving 68.3% RoboCasa-GR1 success rate and 75.5% real-world success rate. Code, appendix, and demos are available at https://puzhenyuan.github.io/GALA-website/.
• Abstract（参考訳）: マルチエンボディメントデータセットから大規模視覚言語アクション(VLA)モデルを学ぶことは、エンドエフェクタ間の不均一なアクション空間のため、依然として困難である。 ラテントアクションモデル(LAM)は、多様なビデオデータからエンボディディメント非依存のアクション表現を学習できるが、既存の画像ベースのLAMは、細粒度のエンドエフェクターの関節、特に人や器用なロボットの手の指レベルの幾何学的変化を捉えるのに失敗することが多い。 この制限に対処するために,画像に基づく潜時動作を3次元のエンドエフェクタ幾何運動で拡張するGALA(Geometry-Aware Latent-Action Modeling framework)を提案する。 しかし、点雲を内在的に取り入れることで、限定された共有意味論を持つきめ細かいアクション表現が得られ、クロス・エボディメント・プレトレーニングを妨げている。 この問題に対処するため,我々は,潜伏動作のクロス・エボディメント・一般化性を改善しつつ,微細な動き情報を保存できる統一エンドエフェクタ・モーション・リ表現(UEMR)を導入する。 UEMR上に構築されたGALAは、シーンレベルのダイナミックスをキャプチャする視覚的潜伏アクションと、共有された微細なエンドエフェクターの関節をキャプチャする幾何学的潜伏アクションを組み合わせることで、アクションフリーのエゴ中心の人間ビデオを含む多身体データからのVLA事前トレーニングを効果的に監視する。 微細な運動探索, クロスボデーメント検索, 下流VLA評価実験により, GALAが実施するエボディメント全体にわたる一般化可能な微細な運動のモデル化の有効性が示され, 68.3%のRoboCasa-GR1成功率, 75.5%の実世界成功率を達成した。 コード、付録、デモはhttps://puzhenyuan.github.io/GALA-website/.comで公開されている。

関連論文リスト

• LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
  世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。 既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。 LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
  論文  参考訳（メタデータ） (2026-08-06T07:47:01Z)
• Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation [52.61098793949261]
  障害駆動型データ拡張フレームワークであるPose6DAugを紹介します。 我々は、ポリシーの成功エピソードを、障害モードのターゲットとなるデモに変換する。 提案手法は,時間的コヒーレントな6次元ポーズ軌道によって駆動される明示的なメッシュで対象物体を固定し,直接3次元で動作させる。
  論文  参考訳（メタデータ） (2026-06-18T11:41:25Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
  本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。 幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。 動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
  論文  参考訳（メタデータ） (2026-05-12T09:21:29Z)
• Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild [37.43820830488286]
  JALAは,協調型潜在行動学習のための事前学習フレームワークである。 We scale this approach with UniHand-Mix, a 7.5M video corpus (>2,000時間) mixing lab and the-the-wild footage。 実験により、JALAは制御されたシナリオと制約のないシナリオの両方でより現実的な手の動きを生成することが示された。
  論文  参考訳（メタデータ） (2026-02-25T09:46:42Z)
• Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
  既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。 本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。 我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
  論文  参考訳（メタデータ） (2026-02-23T11:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。