論文の概要: Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
- arxiv url: http://arxiv.org/abs/2610.21798v1
- Date: Thu, 15 Oct 2026 12:48:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.081106
- Title: Cross-Embodiment Causal Transfer from Human Videos to Robot Manipulation
- Title（参考訳）: 人体ビデオからロボット操作への異体間因果転移
- Abstract要約: 本稿では,人間の映像の知識をロボット操作に伝達するために,Causal-Beam-Guided Subtask Transfer (CBST)を提案する。
CBSTは人間のビデオから操作関連表現を学び、タスクレベルのセマンティック変数に基礎を置く。
ロボット操作ベンチマークの実験では、対応するワールドアクションモデルベースラインよりもタスク成功率が向上した。
- 参考スコア（独自算出の注目度）: 25.506925211705063
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scaling robot manipulation models requires large amounts of interaction data, yet collecting diverse real-robot experience remains costly. Human manipulation videos, in contrast, provide abundant and diverse task experience that could potentially benefit robot learning. However, differences in morphology, action spaces, and control mechanisms make human motions unsuitable as direct supervision for robot actions, raising a scientific question: what knowledge in human videos should be transferred across embodiments to robot manipulation? To address this question, we analyze subtask transfer through the lens of causal beams, focusing on which contextual conditions and interaction dependencies should be retained to support local task effects. Based on this perspective, we propose Causal-Beam-Guided Subtask Transfer (CBST). CBST learns manipulation-related representations from human videos and grounds them in task-level semantic variables using robot demonstrations. Within a predefined manipulation model, causal-beam constraints guide contextual information selection by requiring retained assignments to sustain local mechanism outputs while preserving nontrivial responsiveness to retained inputs. The selected semantic information conditions a world-action model, allowing the robot to generate actions from its own observations without requiring human-robot motion correspondence. Experiments on robot manipulation benchmarks show improvements in task success over the corresponding world-action model baselines.
- Abstract（参考訳）: ロボット操作モデルのスケーリングには大量のインタラクションデータが必要ですが、さまざまなリアルタイムロボットエクスペリエンスの収集にはコストがかかります。
対して人間の操作ビデオは、多種多様なタスク体験を提供し、ロボットの学習に役立つ可能性がある。
しかし、形態、行動空間、制御機構の違いは、人間の動きをロボット行動の直接監督に適さないものにし、科学的疑問を提起する。
この問題に対処するために、我々は因果ビームのレンズを通してサブタスク転送を分析し、局所的なタスク効果をサポートするために、どの状況条件と相互作用依存を保持すべきかに焦点を当てた。
そこで我々はCausal-Beam-Guided Subtask Transfer (CBST)を提案する。
CBSTは人間のビデオから操作関連表現を学び、ロボットのデモンストレーションを用いてタスクレベルのセマンティック変数をグラウンド化する。
事前定義された操作モデル内では、因果制約は、保持された入力に対する非自明な応答性を保持しながら、局所的なメカニズム出力を維持するために保持された割り当てを要求することで、コンテキスト情報の選択を誘導する。
選択された意味情報はワールドアクションモデルとして条件付けされ、ロボットは人間とロボットの動きの対応を必要とせず、自身の観察からアクションを生成できる。
ロボット操作ベンチマークの実験では、対応するワールドアクションモデルベースラインよりもタスク成功率が向上した。
関連論文リスト
- AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳（メタデータ） (2026-09-16T14:07:06Z) - H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。
各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。
我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
論文 参考訳（メタデータ） (2026-08-13T10:14:33Z) - Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning [17.90707618632327]
我々は、人間のビデオから再利用可能なオブジェクト中心のインタラクションを学習するためのフレームワークであるHuman2Anyを紹介する。
我々は,FrankaテーブルトップとRBY-1ヒューマノイド移動ロボットの実際の実験を含む,さまざまな操作設定のHuman2Anyを検証する。
論文 参考訳（メタデータ） (2026-06-27T08:45:27Z) - BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances [11.402773793645244]
ロボットのデモデータを必要とせずに、人間のビデオから直接ロボット操作を学習するフレームワークであるBridgeACTを紹介する。
私たちのキーとなるアイデアは、人間のデモンストレーションとロボットのアクションを橋渡しする、具体化に依存しない中間表現として、余暇をモデル化することです。
得られた余裕は、把握モジュールと軽量閉ループモーションコントローラを介してロボット動作にマッピングされる。
論文 参考訳（メタデータ） (2026-04-25T11:01:27Z) - From Human Hands to Robot Arms: Manipulation Skills Transfer via Trajectory Alignment [36.08997778717271]
現実世界のロボットの多様な操作スキルを学ぶことは、高価でスケールの難しい遠隔操作によるデモンストレーションに依存することでボトルネックとなる。
本稿では,操作終端の3次元軌跡を統一中間表現として利用することにより,この実施ギャップを橋渡しする新しいフレームワークであるTraj2Actionを紹介する。
我々の方針はまず,人間とロボットの両方のデータを活用することで,高レベルの運動計画を形成する粗い軌道を生成することを学習する。
論文 参考訳（メタデータ） (2025-10-01T04:21:12Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳（メタデータ） (2023-02-03T21:39:52Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Learning Predictive Models From Observation and Interaction [137.77887825854768]
世界との相互作用から予測モデルを学ぶことで、ロボットのようなエージェントが世界がどのように働くかを学ぶことができる。
しかし、複雑なスキルのダイナミクスを捉えるモデルを学ぶことは大きな課題である。
本研究では,人間などの他のエージェントの観察データを用いて,トレーニングセットを増強する手法を提案する。
論文 参考訳（メタデータ） (2019-12-30T01:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。