論文の概要: Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos

• arxiv url: http://arxiv.org/abs/2610.27794v1
• Date: Tue, 20 Oct 2026 07:55:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.706139
• Title: Multi-View Latent Action Pretraining for Cross-Embodiment Robot Learning from Videos
• Title（参考訳）: ビデオからのクロスボディーメントロボット学習のための多視点潜時行動訓練
• Abstract要約: ラテントアクションモデル(LAM)は、フレーム間の抽象的なアクションを推論することによって、ビデオを監視信号に変換する。 両視点LAMプレトレーニングは, 単視点に比べ, 接地トラス6D動作のデオードビリティを17%向上させることを示した。 結果はハードウェアに転送され、850回のロールアウトでアクションのみのポリシーよりも、人間の手による成功率を+20%向上させる。
• 参考スコア（独自算出の注目度）: 7.54309578764991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action-free videos are an appealing substitute for costly teleoperated data. Latent action models (LAMs) turn videos into a supervision signal by inferring abstract actions between frames. Existing LAMs observe a single camera view, which resolves 6D robot actions only ambiguously missing out-of-plane movements and potential occlusions. We propose a LAM that ingests synchronized multi-camera views using cross-attention to resolve depth and occlusions before compressing them into latent actions. The latent actions are fed into a policy in which a latent expert and an action expert are coupled by sequential flow matching around a frozen VLM backbone. We further evaluate in strict cross-embodiment settings where task-specific demonstrations come from other embodiments. We show that dual-view LAM pretraining improves the decodability of ground-truth 6D actions by 17% compared to single-view, while scaling single-view data by two orders of magnitude is not sufficient to fully recover out-of-plane motions. The downstream policy improves success rate by +13.5% compared to +6.2% for single-view LAM. A single cross-embodiment is sufficient for skill transfer, and adding a second viewpoint outperforms adding up to four further embodiments. The results transfer to hardware where demonstrations come from a human hand improving success rate by +20% over action-only policies in 850 rollouts. We show that video and robot data are complementary, and that benefits of learning from video are task-dependent. Website: https://learnsyslab.github.io/multiview_latent_action_pretraining/
• Abstract（参考訳）: アクションフリービデオは、高価な遠隔操作データの魅力的な代替品だ。 ラテントアクションモデル(LAM)は、フレーム間の抽象的なアクションを推論することによって、ビデオを監視信号に変換する。 既存のLAMは1台のカメラビューを観察し、6Dロボットの動作は明らかに外界の動きと潜在的な閉塞だけを解消する。 本稿では,複数カメラビューの同期処理を行うLAMを提案し,奥行きや閉塞の解消にクロスアテンションを用いて,それらを潜在動作に圧縮する。 潜伏動作は、凍結したVLMバックボーンの周りの逐次フローマッチングによって潜伏専門家とアクションエキスパートが結合するポリシーに入力される。 タスク固有の実演が他の実施形態から来る厳密なクロス・エボディメント・セッティングにおいて、さらに評価を行う。 両方向のLAMプリトレーニングにより,平面外運動の完全回復には不十分である一方,両方向のLAMプリトレーニングにより,単方向の6D動作のデオード性は17%向上することを示した。 ダウンストリーム政策は、シングルビューのLAMでは+6.2%に比べて、成功率を+13.5%向上させる。 1つのクロス・エボディメントは、スキル・トランスファーに十分であり、第2の視点を追加すると、さらに4つのエボディメントが追加される。 850のロールアウトでアクションのみのポリシーよりも、人間の手による成功率を+20%向上させることで、結果がハードウェアに転送される。 ビデオとロボットのデータは相補的であり、ビデオから学ぶことの利点はタスクに依存していることを示す。 Webサイト: https://learnsyslab.github.io/multiview_latent_action_pretraining/

関連論文リスト

• Learning Transferable World-Action Models from Task-Paired Human Videos [50.531254998484606]
  タスクペアの人間による実演から学ぶクロスビデオ事前学習であるWATCHを紹介する。 我々の事前学習は、これらの能力が容易にスケーラブルな人間と人間のペアから学習できることを示しています。 ロボットのポストトレーニング前の分析では、エボディメント間の動きのアライメントが改善され、見えないロボットに対するアクションとビデオの予測が改善された。
  論文  参考訳（メタデータ） (2026-10-09T21:56:03Z)
• SUAVE: Unified Video-Action Models via Masked Diffusion [8.58848926187245]
  視覚言語アクションモデル(VLA)は、事前訓練された視覚言語バックボーンから強力な意味基盤を継承する。 ビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)は、言語を連続的な潜伏空間における凍結条件として扱うことができる。 マスク付き拡散変換器が言語で条件付けられたビデオとアクションを生成する単一の語彙統一アクションビデオモードであるSUAVEを提案する。
  論文  参考訳（メタデータ） (2026-10-02T20:11:13Z)
• CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight [68.8215501687831]
  世界行動モデル(WAM)は、行動(意図)と視覚的未来(展望)を共同で予測する 本稿では,シミュレータで摂動動作を実行するCtrlWAMについて述べる。 運転実験では、より正確なアクション予測、生成されたビデオとアクションの緊密な一致、提供されたコマンドのより良い追従が示される。
  論文  参考訳（メタデータ） (2026-10-01T00:23:01Z)
• World Action Models are Zero-shot Policies [111.91938055103633]
  本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。 ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。 ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-17T15:04:02Z)
• ViPRA: Video Prediction for Robot Actions [33.310474967770894]
  我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。 アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。 下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
  論文  参考訳（メタデータ） (2025-11-11T01:33:03Z)
• Unified Video Action Model [47.88377984526902]
  統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。 我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。 広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
  論文  参考訳（メタデータ） (2025-02-28T21:38:17Z)
• DVANet: Disentangling View and Action Features for Multi-View Action Recognition [56.283944756315066]
  本稿では,学習した行動表現を映像中の視覚関連情報から切り離すための多視点行動認識手法を提案する。 本モデルとトレーニング方法は,4つの多視点行動認識データセットにおいて,他のユニモーダルモデルよりも有意に優れている。
  論文  参考訳（メタデータ） (2023-12-10T01:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。