論文の概要: The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction
- arxiv url: http://arxiv.org/abs/2608.22301v1
- Date: Sun, 23 Aug 2026 08:51:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.714546
- Title: The Imitator Game: Benchmarking Robot Imitative Ability Beyond Action Prediction
- Title(参考訳): Imitator Game: ベンチマークロボットのImitative Abilityはアクション予測を超える
- Abstract要約: 人間のビデオから学ぶための4段階のベンチマークであるThe Imitator Gameを紹介した。
人間の実演とロボット自身のシーンのギャップを徐々に広げ、軌道上のリプレイが止まる場所を分離する。
私たちはIG-10Kと、これまでで最大の環境整合型人間ロボットデータセット、そして盲目のA/B人間評価のためのオープンプラットフォームであるImitator Arenaと組み合わせました。
- 参考スコア(独自算出の注目度): 23.90153863744227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Humans imitate at the level of intent: given a demonstration, we infer its goal and carry it out with whatever tools, objects, and layouts are at hand. Current robot policies instead learn observation-to-action mappings from visual inputs and language instructions, without explicitly inferring the demonstrated task. Learning from human video thus remains largely trajectory-level: models can replay motions in near-identical scenes, but still struggle to imitate what the demonstrator intends rather than merely what they do. We introduce The Imitator Game, a four-level benchmark (L0-L3) that progressively widens the gap between the human demonstration and the robot's own scene, isolating where trajectory replay ceases to suffice and task understanding becomes necessary. We pair it with IG-10K, the largest environment-aligned paired human-robot dataset to date and the only one instantiated across all four levels in both real and simulated settings (20,000+ paired episodes, 50+ tasks, 6 domains), and Imitator Arena, an open platform for blind A/B human evaluation. Across nine state-of-the-art models, performance is stable from L0 to L2 but collapses at L3, identifying functional substitution - achieving the same intent through a different object affordance - as the decisive barrier to intent-level imitation. Human-video-conditioned models outperform caption-conditioned ones, yet every model falls below 13% zero-shot success on unseen tasks; fine-tuning IG-10K-pretrained models with only $10$ paired human-robot demonstrations yields large gains that grow with pretraining scale. The project website and access to Imitator Arena are available at https://imitator-game.github.io.
- Abstract(参考訳): 人間は意図のレベルを模倣する: デモが与えられたら、私たちはその目標を推測し、ツール、オブジェクト、レイアウトが手元にあるどんなツールでも実行します。
現在のロボットのポリシーは、視覚的な入力や言語命令から観察から行動へのマッピングを学習するが、明示されたタスクを明示的に推測する必要はない。
モデルは身近な場面で動きを再現できるが、デモ参加者が意図していることを単にすることではなく模倣することには苦戦している。
我々は,人間の実演とロボット自身のシーンとのギャップを段階的に拡大する4段階のベンチマーク(L0-L3)であるThe Imitator Gameを紹介した。
IG-10Kは、これまでで最大の環境整合型人間ロボットデータセットで、リアルとシミュレートされた設定(2万以上のペア化されたエピソード、50以上のタスク、6ドメイン)と、盲目なA/B人間評価のためのオープンプラットフォームであるImitator Arenaとの組み合わせです。
9つの最先端モデル全体では、性能はL0からL2に安定しているが、L3で崩壊し、機能的な置換 - 異なるオブジェクトの余裕を通じて同じ目的を達成する - をインテントレベルの模倣に対する決定的な障壁として特定する。
人間のビデオ条件付きモデルは、キャプション条件付きモデルよりも優れていますが、すべてのモデルは、目に見えないタスクで13%のゼロショット成功以下です。
プロジェクトのWebサイトとImitator Arenaへのアクセスはhttps://imitator-game.github.io.comで公開されている。
関連論文リスト
- ZimaBlue: Evolving Generalizable World Action Models through Scalable Video Pre-training [93.39352617578857]
大規模ビデオから一般化可能なワールドアクションモデルを学ぶためのフレームワークであるZimaBlueを紹介した。
ZimaBlueは3段階のトレーニングカリキュラムに従っており、まず大規模な人間とロボットの自我中心のビデオで因果的エンボディドビデオの事前トレーニングを行う。
ZimaBlueはさらに複数のベンチマークで高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-08-31T18:09:52Z) - VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances [13.931853652256015]
私たちは、具体的とは無関係な、オブジェクト中心の実行可能な余裕を学ぶフレームワークを構築します。
視覚言語モデルに基づく統合基盤モデルであるVLAffを導入し、すべての行動可能な価格の相互関係を学習する。
VLAffは、ビジュアルアベイランス予測における最先端のパフォーマンスを達成し、実際のロボットアプリケーションに効果的に適用することができる。
論文 参考訳(メタデータ) (2026-08-05T10:15:55Z) - LUCID: Learning Embodiment-Agnostic Intent Models from Unstructured Human Videos for Scalable Dexterous Robot Skill Acquisition [11.86733592383987]
LUCIDは、構造化されていない人間のビデオからタスク意図を学ぶフレームワークである。
大規模な並列シミュレーションでロボットの制御を学習する。
実世界の5つの操作課題におけるLUCIDの評価を行った。
論文 参考訳(メタデータ) (2026-06-10T03:49:01Z) - Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation [5.967530183571141]
人間とロボットの模倣学習パイプラインは、ロボットが非構造化ビデオデモから直接操作スキルを取得することを可能にする。
鍵となる革新は、学習プロセスを2つの異なる段階に分離するモジュラーフレームワークである。
ロボット操作では,全ての動作の平均成功率は87.5%であり,タスク達成で100%,複雑なピック・アンド・プレイス操作で90%に達する。
論文 参考訳(メタデータ) (2026-02-22T13:26:27Z) - World Action Models are Zero-shot Policies [111.91938055103633]
本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。
ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。
ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
論文 参考訳(メタデータ) (2026-02-17T15:04:02Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳(メタデータ) (2025-12-17T12:59:41Z) - H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。
私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。
テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
論文 参考訳(メタデータ) (2025-12-10T07:59:45Z) - MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。
視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。
視点安定化のためにEgoStabilizerを提案する。
動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
論文 参考訳(メタデータ) (2025-09-26T11:05:10Z) - EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos [49.820119587446655]
本稿では,エゴセントリックな人間ビデオを用いたVLA(Vision-Language-Action)モデルのトレーニングについて検討する。
人間の手首と手の動きを予測する人間のビデオに基づいて訓練されたVLAによって、私たちはInverse Kinematicsを実行し、人間のアクションをロボットアクションに変換することができる。
シミュレーションベンチマークであるEgo Humanoid Manipulation Benchmarkを提案する。
論文 参考訳(メタデータ) (2025-07-16T17:27:44Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳(メタデータ) (2025-03-10T10:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。