論文の概要: LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
- arxiv url: http://arxiv.org/abs/2610.13732v1
- Date: Fri, 09 Oct 2026 15:29:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.653466
- Title: LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos
- Title（参考訳）: LAPTスケール:人間ビデオにおける潜時行動事前訓練による身体的ポリシーのスケーリング
- Abstract要約: LAPT-Scaleは2つのコンポーネントを持つスケーラブルな潜在アクション事前トレーニングパラダイムである。
LAMは、人間のビデオでフレーム間視覚遷移を説明することによって、連続的な潜伏動作を学習する。
政策はVLAポリシーを、人間のビデオ・ラテント・アクション・プレトレーニング、ターゲットロボット・エボディメント・アライメント、タスク固有のポストトレーニングを通じて訓練する。
- 参考スコア（独自算出の注目度）: 25.736870864336655
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling generalist robotic policies is limited by the high cost of collecting embodied interaction data. Large-scale egocentric human videos offer a rich alternative, but they lack robot action labels, and existing action annotation methods are often noisy under real-world visual complexity and diverse manipulation dynamics. We introduce LAPT-Scale, a scalable latent action pre-training paradigm with two components: LAPT-Scale-LAM learns continuous latent actions by explaining frame-to-frame visual transitions in human videos and uses them as human-derived supervision, while LAPT-Scale-Policy trains a VLA policy through human-video latent-action pre-training, target-robot embodiment alignment, and task-specific post-training. Unlike prior vector-quantized LAMs, LAPT-Scale-LAM uses a continuous latent space to preserve fine-grained motion and interaction dynamics. We further combine perceptual, semantic, and optical-flow alignment signals to improve transition-level supervision beyond pixel reconstruction. Trained on 23.3K hours of egocentric video, LAPT-Scale-LAM provides implicit action supervision for policy pre-training, yielding consistent scaling gains and improving real-robot success from 63.3% to 85.0% as annotated human video scales from 1K to 5K hours. The learned policy also generalizes to unseen visual conditions.
- Abstract（参考訳）: 一般論的なロボットポリシーのスケーリングは、具体的相互作用データを収集するコストによって制限される。
大規模な人間中心のビデオはリッチな代替手段を提供するが、ロボットアクションラベルが欠落しており、既存のアクションアノテーションメソッドは現実の視覚的複雑さと多様な操作力学の下でうるさいことが多い。
LAPT-Scale-LAMは、人間のビデオにおけるフレーム・ツー・フレームの視覚的遷移を説明して連続的な潜伏動作を学習し、それらを人間による監視として利用する一方、LAPT-Scale-Policyは、人間のビデオの潜伏前訓練、標的ロボットの実施、タスク固有の後訓練を通じてVLAポリシーを訓練する。
従来のベクトル量子化 LAM とは異なり、LAPT-Scale-LAM は連続的な潜時空間を用いて微粒な動きと相互作用のダイナミクスを保存する。
さらに、知覚的、意味的、光学的フローアライメント信号を組み合わせて、画素再構成以上の遷移レベルの監視を改善する。
LAPT-Scale-LAMは、エゴセントリックビデオの23.3K時間で訓練され、ポリシー事前訓練のための暗黙のアクション監視を提供し、一貫したスケーリングゲインをもたらし、人間の注釈付きビデオの1K時間から5K時間で63.3%から85.0%に改善した。
学習されたポリシーは、見えない視覚条件にも一般化される。
関連論文リスト
- Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。
我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。
Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
論文 参考訳（メタデータ） (2026-10-08T05:49:24Z) - LARA: Latent Action Representation Alignment for Vision-Language-Action Models [21.4758859185298]
潜時行動モデル(LAM)は視覚力学から潜時行動表現を学習し、VLA学習のさらなる監督を提供する。
本稿では,LAMとVLAを協調的に表現アライメントにより最適化するLARA(Latent Action Representation Alignment)を提案する。
プレトレーニング,プレトレーニング後のVLAモデルの強化,およびLAM改善のためのLARAの汎用性と有効性を示す。
論文 参考訳（メタデータ） (2026-06-05T09:51:25Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳（メタデータ） (2026-05-18T06:19:16Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild [37.43820830488286]
JALAは,協調型潜在行動学習のための事前学習フレームワークである。
We scale this approach with UniHand-Mix, a 7.5M video corpus (>2,000時間) mixing lab and the-the-wild footage。
実験により、JALAは制御されたシナリオと制約のないシナリオの両方でより現実的な手の動きを生成することが示された。
論文 参考訳（メタデータ） (2026-02-25T09:46:42Z) - ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。
人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
論文 参考訳（メタデータ） (2026-01-31T06:40:57Z) - CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。
CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。
本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-07T16:26:33Z) - Robotic VLA Benefits from Joint Learning with Motion Image Diffusion [114.60268819583017]
VLA(Vision-Language-Action)モデルは、マルチモーダルな観察と指示を直接行動にマッピングすることで、ロボット操作において顕著な進歩を遂げた。
動き推論機能を備えたVLAモデルを強化する新しい戦略である動き画像拡散を用いた共同学習を提案する。
シミュレーションと実世界の両方の環境での実験により、モーション画像拡散による共同学習がpiシリーズVLAの成功率を97.5%に向上させることが示された。
論文 参考訳（メタデータ） (2025-12-19T19:07:53Z) - mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。
提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
論文 参考訳（メタデータ） (2025-12-17T18:47:31Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳（メタデータ） (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。