論文の概要: ELA: End-to-End Latent Action Policy Learning from Video Demonstrations
- arxiv url: http://arxiv.org/abs/2611.05571v1
- Date: Tue, 03 Nov 2026 20:03:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.835876
- Title: ELA: End-to-End Latent Action Policy Learning from Video Demonstrations
- Title(参考訳): ELA:ビデオデモから学ぶエンド・ツー・エンドのラテント・アクション・ポリシー
- Abstract要約: 本稿では,ビデオデモから潜時動作を通じて学習するエンド・ツー・エンドのフレームワークであるERAを紹介する。
ELAは、潜在アクションモデル、潜在アクションポリシー、アクションデコーダを共同でトレーニングし、アクションラベル付きロボットのデモでのみ、豊富なビデオデータを活用することができる。
- 参考スコア(独自算出の注目度): 19.9528479357435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robot imitation learning is limited by the scarcity of action-labeled data, while action-free demonstrations such as videos are abundant. Recent latent-action methods learn action-relevant representations from observation transitions, but they do not optimize latent actions for downstream control, leading to latent representations that are difficult for policies to model and difficult to accurately decode into continuous robot actions. This paper introduces ELA, an end-to-end framework for learning from video demonstrations via latent actions jointly optimized for policy learning and action decoding. ELA jointly trains a latent action model, latent action policy, and action decoder, enabling policies to leverage abundant video data with only a handful of action-labeled robot demonstrations. Experiments on simulated and real-world manipulation tasks show that ELA consistently outperforms prior latent action baselines. Moreover, it integrates seamlessly with existing imitation learning methods through lightweight 4M-parameter action decoders, requiring no changes to policy architectures or training objectives. Additional materials can be found on: https://end2end-latent-action.github.io/
- Abstract(参考訳): ロボット模倣学習は、アクションラベル付きデータの不足によって制限されるが、ビデオのようなアクションフリーなデモは豊富である。
近年の潜時行動法は、観測遷移から行動関連表現を学習するが、下流制御のための潜時行動の最適化は行わない。
本稿では,政策学習と行動復号化に最適化された潜在行動を通じて,映像のデモンストレーションから学習するエンド・ツー・エンドのフレームワークであるERAを紹介する。
ELAは、潜在アクションモデル、潜在アクションポリシー、アクションデコーダを共同でトレーニングし、アクションラベル付きロボットのデモでのみ、豊富なビデオデータを活用することができる。
シミュレーションおよび実世界の操作タスクの実験は、ERAが常に先行するアクションベースラインよりも優れていたことを示している。
さらに、軽量な4Mパラメータアクションデコーダを通じて既存の模倣学習手法とシームレスに統合され、ポリシーアーキテクチャの変更やトレーニング目的の変更は不要である。
追加の資料は、https://end2end-latent-action.github.io/にある。
関連論文リスト
- Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。
本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
論文 参考訳(メタデータ) (2026-04-07T17:59:30Z) - CoMo: Learning Continuous Latent Motion from Internet Videos for Scalable Robot Learning [47.195002937893115]
CoMoは、多様なインターネットスケールのビデオから、より情報に富んだ連続的な動きの表現を学ぶことを目指している。
動作評価と学習指導のための2つの新しい指標を提案する。
CoMoは強力なゼロショットの一般化を示しており、以前は目に見えないビデオドメインに対して連続的な擬似アクションを生成することができる。
論文 参考訳(メタデータ) (2025-05-22T17:58:27Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳(メタデータ) (2023-12-28T23:34:43Z) - Learning to Act from Actionless Videos through Dense Correspondences [87.1243107115642]
本稿では,様々なロボットや環境にまたがる多様なタスクを確実に実行可能なビデオベースのロボットポリシーを構築するためのアプローチを提案する。
本手法は,ロボットの目標を指定するための汎用表現として,状態情報と行動情報の両方を符号化するタスク非依存表現として画像を利用する。
テーブルトップ操作とナビゲーションタスクの学習方針における我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-12T17:59:23Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。