論文の概要: CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators

• arxiv url: http://arxiv.org/abs/2608.27406v1
• Date: Thu, 27 Aug 2026 17:35:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.513248
• Title: CLAP: Cross-Embodiment Video World Models are Zero-Shot Physical Simulators
• Title（参考訳）: CLAP: クロス・エンボディメント・ビデオ・ワールドモデルはゼロショット物理シミュレーター
• Abstract要約: CLAPは、多種多様なインターネットスケールのビデオ上でのクロス・エボディメント・アクション・コンディション・ビデオ生成のためのフレームワークである。 エンドエフェクタポーズ、言語命令、潜伏アクションを使って異なるアクション空間を再構成する。 CLAPは、DROIDのような挑戦的な環境で、最先端のシングルエボディメントビデオモデルに近づいたり、超えたりします。
• 参考スコア（独自算出の注目度）: 0.945901078095072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art action-conditioned video models are typically restricted to a single robot embodiment, preventing them from leveraging the vast corpus of heterogeneous video data that contains rich signals for learning generalizable physics. To bridge this gap, we introduce CLAP, a framework for cross-embodiment action-conditioned video generation capable of being trained on diverse, internet-scale videos across human and robotic agents. CLAP is grounded in the insight that universal physical laws govern spatiotemporal dynamics regardless of the actor. However, cross-embodiment learning is non-trivial because action representations vary sharply across robot platforms and are typically absent in human videos. CLAP addresses this fundamental challenge through the following core contributions. First, CLAP reconciles disparate action spaces using end-effector poses, language instructions, and latent actions. Second, to resolve their individual limitations, CLAP introduces a curriculum-based cross-embodiment learning recipe that first learns foundational physical priors across unlabeled video data using latent actions and subsequently grounds them in end-effector action spaces for zero-shot deployment to real-world tasks. Crucially, CLAP approaches or surpasses state-of-the-art single-embodiment video models in challenging environments like DROID. These performance advantages compound via few-shot adaptation to establish a novel paradigm for training single-embodiment video world models. Ultimately, CLAP delivers the most comprehensive suite of action-conditioned video world models to date - spanning diverse action-conditioning spaces (end-effector, language, and latent) and robot morphologies (including cross-embodiment, DROID, Bridge, bimanual YAM robots, and G1 humanoids). We open-source all code and models. Project Website at https://omni-clap.github.io .
• Abstract（参考訳）: 最先端のアクションコンディション付きビデオモデルは、通常、単一のロボットエンボディメントに制限されるため、一般化可能な物理を学ぶための豊富な信号を含む異種ビデオデータの広大なコーパスを利用することができない。 このギャップを埋めるために、人間とロボットエージェントをまたいだ多様なインターネットスケールのビデオでトレーニングできるクロス・エボデーション・アクションコンディショニング・ビデオ生成のフレームワークであるCLAPを紹介した。 CLAPは、普遍的な物理法則がアクターによらず時空間力学を支配しているという知見に基づいている。 しかしながら、ロボットプラットフォーム間でアクション表現が著しく異なり、人間のビデオには通常欠落しているため、クロスボデーメント学習は簡単ではない。 CLAPは以下のコアコントリビューションを通じて、この根本的な課題に対処する。 まず、CLAPは、エンドエフェクタポーズ、言語命令、潜伏アクションを使用して異なるアクション空間を再構成する。 第二に、CLAPは、個々の制限を解決するために、カリキュラムベースのクロスエボディメント学習レシピを導入し、まず、潜在アクションを使用してラベル付けされていないビデオデータから基礎的な物理的事前を学習し、その後、実世界のタスクへのゼロショットデプロイメントのためのエンドエフェクタアクションスペースに配置する。 CLAPは、DROIDのような挑戦的な環境で、最先端のシングル・エボディメント・ビデオモデルに近づいたり、超えたりしている。 これらの性能優位性は、単体ビデオワールドモデルをトレーニングするための新しいパラダイムを確立するために、少数ショット適応を介して複雑になる。 CLAPは、さまざまなアクションコンディショニング空間(エンドエフェクタ、言語、潜伏状態)とロボット形態(クロスエボディメント、DROID、ブリッジ、バイマンYAMロボット、G1ヒューマノイドを含む)にまたがる、これまでで最も包括的なアクションコンディショニングビデオワールドモデルを提供している。 すべてのコードとモデルをオープンソースにしています。 Project Website at https://omni-clap.github.io

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• Motion-Focused Latent Action Enables Cross-Embodiment VLA Training from Human EgoVideos [6.48983302311586]
  ラベルのない人間のビデオから一般的なアクションを抽出する潜在アクションに基づくフレームワークを提案する。 コードブックで人間のビデオの事前トレーニングを行うことで、VLMバックボーンはアクション意図の深い表現を学習する。 シミュレーションと実世界の環境における結果から,本手法はラベルなしの人間ビデオのみに事前学習され,大量の注釈付きデータセットでトレーニングされた最先端のVLAモデルと競合することを示した。
  論文  参考訳（メタデータ） (2026-06-17T11:37:59Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
  我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。 本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
  論文  参考訳（メタデータ） (2026-04-07T17:59:30Z)
• World Action Models are Zero-shot Policies [111.91938055103633]
  本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。 ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。 ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-17T15:04:02Z)
• CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
  本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。 本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-07T16:26:33Z)
• Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
  汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。 最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。 本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
  論文  参考訳（メタデータ） (2025-12-17T18:35:54Z)
• AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis [33.90053396451562]
  AnchorDreamは、ロボットデータ合成のための事前学習されたビデオ拡散モデルを再利用した、エンボディメントを意識した世界モデルである。 本手法は,環境モデリングを必要とせず,大規模で多様な高品質なデータセットにスケールする。 実験の結果、生成されたデータは下流の政策学習において一貫した改善をもたらし、シミュレータのベンチマークでは36.4%、現実世界の研究ではほぼ2倍の性能を示した。
  論文  参考訳（メタデータ） (2025-12-12T18:59:45Z)
• Latent Action Pretraining Through World Modeling [1.988007188564225]
  自己教師型手法で模倣学習モデルを事前学習するためのモデルに依存しないフレームワークであるLAWMを提案する。 当社のフレームワークは,タスクや環境,実施環境の移動に有効であるように設計されています。
  論文  参考訳（メタデータ） (2025-09-22T21:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。