論文の概要: Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos

• arxiv url: http://arxiv.org/abs/2606.18955v1
• Date: Wed, 17 Jun 2026 11:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.136835
• Title: Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos
• Title（参考訳）: モーションフォーカス型潜伏動作は、人間のエゴビデオから身体交叉VLAトレーニングを可能にする
• Authors: Runze Xu, Yiluo Zhang, Jian Wang, Yu Wang, Jincheng Yu,
• Abstract要約: ラベルのない人間のビデオから一般的なアクションを抽出する潜在アクションに基づくフレームワークを提案する。 コードブックで人間のビデオの事前トレーニングを行うことで、VLMバックボーンはアクション意図の深い表現を学習する。 シミュレーションと実世界の環境における結果から,本手法はラベルなしの人間ビデオのみに事前学習され,大量の注釈付きデータセットでトレーニングされた最先端のVLAモデルと競合することを示した。
• 参考スコア（独自算出の注目度）: 6.48983302311586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training generalist Vision-Language-Action(VLA) models typically requires massive, diverse robotic datasets with high-fidelity action annotations. While egocentric human manipulation videos are abundant and capture significant environmental diversity, the absence of action labels makes them difficult to use in conventional training paradigms. To address this, we propose a latent-action-based framework designed to extract general action priors from unlabeled human videos. The architecture features a Hybrid Disentangled VQ-VAE that decouples motion dynamics from environmental backgrounds through physical masks, enabling the construction of a cross-embodiment action codebook. By pre-training on human videos with the codebook, the VLM backbone learns deep representations of action intent. For adaptation to specific embodiments, we introduce an intent-perception decoupling strategy where the VLM predicts the action intent while a separate frozen visual encoder provides state-specific features to the action expert, thereby reducing action hallucinations. Results in simulation and real-world environments show that our method, pre-trained exclusively on unlabeled human videos, performs competitively with state-of-the-art VLA models trained on massive annotated datasets, requiring only 50 trajectories for downstream adaptation.
• Abstract（参考訳）: トレーニングジェネラリストのVision-Language-Action(VLA)モデルは一般的に、高忠実度アクションアノテーションを備えた大規模で多様なロボットデータセットを必要とする。 エゴセントリックな人間の操作ビデオは豊富で、かなりの環境多様性を捉えているが、アクションラベルの欠如は、従来の訓練パラダイムでの使用を困難にしている。 そこで本稿では,ラベルのない人間のビデオから一般的なアクションを抽出するための潜在アクションベースのフレームワークを提案する。 このアーキテクチャは、環境背景から物理マスクを通してモーションダイナミクスを分離するハイブリッドディスタングルVQ-VAEを備えており、クロス・エボデーメント・アクション・コードブックの構築を可能にしている。 コードブックで人間のビデオの事前トレーニングを行うことで、VLMバックボーンはアクション意図の深い表現を学習する。 特定の実施形態に適応するために,VLMは動作意図を予測し,凍結した視覚エンコーダは動作専門家に状態特異的な特徴を提供し,行動幻覚を減少させる意図認識デカップリング戦略を導入する。 シミュレーションと実世界の環境における結果から,本手法はラベルなしの人間ビデオのみに事前訓練され,大量の注釈付きデータセットでトレーニングされた最先端のVLAモデルと競合し,ダウンストリーム適応には50の軌道しか必要としないことがわかった。

関連論文リスト

• Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
  視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。 このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。 本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
  論文  参考訳（メタデータ） (2026-06-07T08:57:51Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
  人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。 人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
  論文  参考訳（メタデータ） (2026-01-31T06:40:57Z)
• CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
  本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。 本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-07T16:26:33Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。