論文の概要: WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time

• arxiv url: http://arxiv.org/abs/2607.06988v2
• Date: Fri, 10 Jul 2026 02:22:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 16:48:13.407112
• Title: WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time
• Title（参考訳）: WAM-TTT: 人間のプレイをテスト時間で見る世界アクションモデル
• Abstract要約: WAM-TTTは、生のビデオから世界アクションモデルを操るテストタイムトレーニングフレームワークである。 人間の動画を凍結したWAM内の軽量な適応メモリに吸収し、自己教師付きビデオ予測を行う。 コンテクスト内のヒューマン・ビデオ・コンディショニングのベースラインをさまざまな操作タスクや一般化設定で一貫して上回る。
• 参考スコア（独自算出の注目度）: 24.292345340294403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Steering robot foundation models (RFMs) toward new task variants or user-preferred behaviors remains challenging, often requiring additional robot demonstrations, task-specific fine-tuning, or long-context conditioning. We present WAM-TTT, a test-time training framework for steering world action models from raw human videos. Rather than treating human videos as trajectories to imitate, WAM-TTT absorbs them into a lightweight adaptive memory inside a frozen WAM through self-supervised video prediction. To make this memory useful for control, we introduce a meta-training stage that aligns human demonstrations with robot behaviors using paired human-robot data and a key--value memory reconstruction objective. At test time, only unlabeled human videos are required to adapt the memory, while the pretrained WAM remains frozen. This enables efficient and reusable steering without robot actions, human-side annotations, or task-specific fine-tuning, while preserving the generalization ability of the foundation model. Extensive experiments show that WAM-TTT consistently outperforms in-context human-video conditioning baselines across diverse manipulation tasks and generalization settings.
• Abstract（参考訳）: ロボット基礎モデル(RFM)を新しいタスク変種やユーザ優先の動作に向ける作業は、多くの場合、追加のロボットデモ、タスク固有の微調整、長いコンテキスト条件を必要とする。 We present WAM-TTT, a test-time training framework for steering world action model from raw human video。 人間の動画を模倣するための軌跡として扱うのではなく、WAM-TTTは、自己監督されたビデオ予測を通じて、凍結したWAM内の軽量適応メモリにそれらを吸収する。 このメモリを制御に役立てるために,人間のデモとロボットの動作を協調させるメタトレーニングステージを導入する。 テスト時には、メモリに適応するためにラベルのない人間のビデオしか必要とされないが、事前訓練されたWAMは凍結されている。 これにより、ファンデーションモデルの一般化能力を保ちながら、ロボットアクション、ヒューマンサイドアノテーション、タスク固有の微調整なしで、効率的で再利用可能なステアリングが可能になる。 大規模な実験により、WAM-TTTは様々な操作タスクや一般化設定において、コンテキスト内のヒューマン・ビデオ・コンディショニング・ベースラインを一貫して上回っていることが示された。

関連論文リスト

• Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization [66.06331553787281]
  テキスト内ビデオガイダンスに従うことで、見知らぬタスクを実行する因果的ビデオアクションモデルであるZero-WAMを提案する。 我々はまた、8.6Kタスクにまたがる74.2Kの人間ロボットICLペアのデータセットであるHumanGenを提示する。 RoboTwin 2.0シミュレーションの7つの目に見えないタスクにおいて、Zero-WAMは47.0%の平均的な成功率を達成する。
  論文  参考訳（メタデータ） (2026-08-26T17:59:34Z)
• LD4WAM: Learning Latent Dynamics from Human Videos for World Action Models [14.629670168049984]
  本稿では,映像のブリッジ前処理と低レベル動作の具体的表現として,動作整列潜時ダイナミクスを提案する。 意味再構成と実動作アライメントを訓練した潜在ダイナミクスモデルと、変換器の混合として構築されたワールドダイナミクスアクションモデル(MoT)を組み合わせたLD4WAMを提案する。 LD4WAMは、5000時間以上の人間とロボットのデータの統合データセットに基づいて、RoboTwinシミュレーションや、グリッパーと器用な両手を備えた本物のロボット上で、強力に動作します。
  論文  参考訳（メタデータ） (2026-08-23T13:09:30Z)
• H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
  H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。 各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-13T10:14:33Z)
• BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation [6.733928872257592]
  BifrostUMIは、ヒューマノイドロボットのためのポータブルで効率的な、ロボットフリーのデータ収集フレームワークである。 2つの異なる実験シナリオにまたがって提案したフレームワークの有効性と汎用性を示す。
  論文  参考訳（メタデータ） (2026-05-05T07:35:09Z)
• ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
  我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。 提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。 ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-10T04:19:43Z)
• Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
  汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。 最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。 本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
  論文  参考訳（メタデータ） (2025-12-17T18:35:54Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Chain-of-Modality: Learning Manipulation Programs from Multimodal Human Videos with Vision-Language-Models [49.4824734958566]
  カオス・オブ・モダリティ(CoM)は、ビジョン言語モデルがマルチモーダルな人間の実演データを推論することを可能にする。 CoMはタスクプランを洗練し、詳細な制御パラメータを生成し、ロボットは単一のマルチモーダルなヒューマンビデオプロンプトに基づいて操作タスクを実行できる。
  論文  参考訳（メタデータ） (2025-04-17T21:31:23Z)
• Mitigating the Human-Robot Domain Discrepancy in Visual Pre-training for Robotic Manipulation [16.809190349155525]
  そこで本研究では,容易に利用可能な人間ロボットのビデオデータを利用して,ドメインギャップを埋める新しい適応パラダイムを提案する。 提案手法では,人間とロボットのビデオのセマンティクスを整列させるために,人間ロボットのアライメント損失を用いて,事前学習したモデルをパラメータ効率よくロボット領域に適応させる。
  論文  参考訳（メタデータ） (2024-06-20T11:57:46Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Learning a Universal Human Prior for Dexterous Manipulation from Human Preference [35.54663426598218]
  本稿では,ビデオ上での人間の嗜好を直接フィードバックすることで,人類の普遍性を学習するフレームワークを提案する。 多様な警察を反復的に生成し、軌道上の人間の嗜好を収集することにより、タスクに依存しない報酬モデルを訓練する。 提案手法は,ロボットの手の動作を,目に見えないタスクを含む多様なタスクで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-10T14:17:33Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。