論文の概要: Learning Transferable World-Action Models from Task-Paired Human Videos

• arxiv url: http://arxiv.org/abs/2610.14351v1
• Date: Fri, 09 Oct 2026 21:56:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:01:41.046
• Title: Learning Transferable World-Action Models from Task-Paired Human Videos
• Title（参考訳）: 課題対応型ヒューマンビデオからトランスファー可能なワールド・アクション・モデルを学ぶ
• Abstract要約: タスクペアの人間による実演から学ぶクロスビデオ事前学習であるWATCHを紹介する。 我々の事前学習は、これらの能力が容易にスケーラブルな人間と人間のペアから学習できることを示しています。 ロボットのポストトレーニング前の分析では、エボディメント間の動きのアライメントが改善され、見えないロボットに対するアクションとビデオの予測が改善された。
• 参考スコア（独自算出の注目度）: 50.531254998484606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World-action models inherit broad visual and physical priors from video pre-training. However, standard within-video next-frame prediction allows them to rely on appearance shared between the context and future, rather than learning interactions that transfer across scenes and embodiments. We introduce WATCH, a cross-video pre-training that learns from task-paired human demonstrations collected across diverse environments. Conditioned on the video and actions of one demonstration, the model jointly predicts another demonstration's actions and future frames from its current observation. Predicting one demonstration from another encourages the model to learn task-relevant interactions that transfer across scenes and demonstrators. Our pre-training shows that these capabilities can be learned from readily scalable human-human pairs alone, without requiring matched human-robot demonstrations. Analyses before robot post-training show improved motion alignment across embodiments and better action and video prediction on unseen robots, with representations closer to those learned from robot pairs. After robot post-training, WATCH improves MimicDroid in-context success from 40.9% to 68.3% with Cosmos Policy and from 59.8% to 77.7% with Cosmos3, with the largest gains on the unseen levels. Gains persist under context-free post-training across robot embodiments. WATCH outperforms within-video pre-training and co-training baselines, supporting cross-video prediction as a scalable approach to learning transferable world-action representations.
• Abstract（参考訳）: ワールドアクションモデルは、ビデオ事前トレーニングから広範囲の視覚的および身体的先行を継承する。 しかし、標準的なビデオ内の次世代の予測では、シーンや体感をまたぐインタラクションを学ぶのではなく、コンテキストと未来の間で共有される外観に頼ることができる。 WATCHは、多様な環境にまたがって収集されたタスクペアの人間によるデモンストレーションから学習する、クロスビデオプレトレーニングである。 あるデモンストレーションのビデオとアクションに基づいて、モデルは現在の観察から別のデモのアクションと将来のフレームを共同で予測する。 あるデモを別のデモから予測することは、シーンやデモ参加者間で伝達されるタスク関連インタラクションを学ぶことをモデルに促す。 我々の事前学習は、人間のロボットによるデモを必要とせずに、容易にスケーラブルな人間と人間のペアからこれらの能力を学ぶことができることを示している。 ロボットのポストトレーニング前の分析では、エンボディメント間の動きのアライメントが改善され、ロボットペアから学んだものに近い、見えないロボットに対するアクションとビデオの予測が改善された。 ロボットのポストトレーニングの後、WATCHはMimicDroidのインコンテキストの成功を40.9%から68.3%に改善し、コスモスポリシーは59.8%から77.7%に改善した。 ゲインは、ロボットエボディメントを横断する文脈自由なポストトレーニングの下で持続する。 WATCHは、トランスファー可能なワールドアクション表現を学ぶためのスケーラブルなアプローチとして、ビデオ間の予測をサポートする。

関連論文リスト

• Being-M0.7: A Latent World-Action Model for Humanoid Robots [52.49928557294444]
  我々は,人間のデータから学習した視覚的動きを,事前学習,ロボットのミッドトレーニング,アクションポストトレーニングを通じてヒューマノイド制御に伝達する潜在世界行動モデルであるBeing-M0.7を提案する。 我々は、1万時間以上の生の人中心データからコーパスをキュレートし、ビデオのみ、モーションのみ、およびペア化されたビデオモーションストリームを統合して、補完的な視覚力学と全身の運動構造を学習する。 Be-M0.7はSIMPLEで比較したベースラインの中で最高成功率に達し、現実世界のUnitree G1ロコ操作タスクで最強のベースラインと一致する。
  論文  参考訳（メタデータ） (2026-10-08T05:49:24Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Learning an Actionable Discrete Diffusion Policy via Large-Scale Actionless Video Pre-Training [69.54948297520612]
  ジェネラリストの具体化エージェントを学ぶことは、主にアクションラベル付きロボットデータセットの不足に起因して、課題を提起する。 これらの課題に対処するための新しい枠組みを導入し、人間のビデオにおける生成前トレーニングと、少数のアクションラベル付きロボットビデオのポリシー微調整を組み合わせるために、統一された離散拡散を利用する。 提案手法は, 従来の最先端手法と比較して, 高忠実度な今後の計画ビデオを生成し, 細調整されたポリシーを強化する。
  論文  参考訳（メタデータ） (2024-02-22T09:48:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。