論文の概要: Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer

• arxiv url: http://arxiv.org/abs/2609.21514v1
• Date: Fri, 18 Sep 2026 09:06:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.940893
• Title: Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer
• Title（参考訳）: Skel-WAM:人間-ロボット間マニピュレーション伝達のための手動骨格型世界行動モデル
• Abstract要約: Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
• 参考スコア（独自算出の注目度）: 61.50662046794264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robot demonstrations are expensive to collect and often provide limited distributional coverage of task variations. Human videos offer a low-cost source of complementary manipulation experience, but learning from them requires bridging embodiment gaps in visual appearance and action spaces. We introduce Skel-WAM, a world action model that bridges these differences through a unified hand-skeleton motion interface. The key insight is to align human and robot motion through a common hand topology, combining skeleton overlays that ground motion in the scene with structured 2.5-D keypoints that encode explicit hand kinematics. Video and Keypoint Experts jointly learn visual and skeletal dynamics through a Mixture-of-Transformers, while a separate robot-trained Action Expert maps these predictions to executable controls. This separation enables human and robot demonstrations to directly supervise shared dynamics without requiring robot action labels for human videos. Across four real-world bimanual tasks and seven simulated tasks, Skel-WAM achieves average success rates of 79.86% and 63.29%, surpassing the strongest baseline by 22.22 and 8.28 percentage points, respectively. Human-robot cotraining more than doubles real-world success on task variations absent from robot training data, from 38.89% to 86.11%. These results demonstrate that a shared skeletal interface enables joint learning across human and robot data and expands robot task coverage through complementary human demonstrations.
• Abstract（参考訳）: ロボットのデモは高価であり、しばしばタスクのバリエーションの限定的な分布範囲を提供する。 ヒューマンビデオは、補足的な操作体験の低コストなソースを提供するが、そこから学ぶには、視覚的な外観と行動空間における身体的ギャップを埋める必要がある。 Skel-WAMはハンドスケルトン・モーション・インタフェースによってこれらの違いをブリッジする世界アクション・モデルである。 重要な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーンの地面の動きを、明示的な手の動きをエンコードする2.5次元のキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。 この分離により、人間とロボットのデモは、人間のビデオのためのロボットアクションラベルを必要とせずに、共有ダイナミクスを直接監視することができる。 4つの実世界の2次元タスクと7つのシミュレーションタスクの中で、Skel-WAMは平均成功率79.86%、63.29%を達成し、それぞれ22.22ポイントと8.28ポイントを上回っている。 人間のロボットのコトレーティングは、ロボットのトレーニングデータから外れたタスクのバリエーションで実世界の成功を2倍以上にし、38.89%から86.11%に向上した。 これらの結果から、共有骨格インタフェースは、人間とロボットのデータ間の共同学習を可能にし、補完的な人間のデモンストレーションを通じてロボットタスクのカバレッジを拡大することを示した。

関連論文リスト

• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
  H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。 各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-13T10:14:33Z)
• HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos [58.9564236347451]
  HumanEgoは、人間とロボットのエンボディメントギャップを橋渡しするフレームワークである。 それは、人間のデモを、手動オブジェクトの相互作用の実体レベルの表現へと持ち上げる。 HumanEgoは、ロボットのデータフリー、ハードウェア非依存、データ効率、ゼロショットの人間とロボットの転送を可能にする。
  論文  参考訳（メタデータ） (2026-05-24T08:26:41Z)
• BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances [11.402773793645244]
  ロボットのデモデータを必要とせずに、人間のビデオから直接ロボット操作を学習するフレームワークであるBridgeACTを紹介する。 私たちのキーとなるアイデアは、人間のデモンストレーションとロボットのアクションを橋渡しする、具体化に依存しない中間表現として、余暇をモデル化することです。 得られた余裕は、把握モジュールと軽量閉ループモーションコントローラを介してロボット動作にマッピングされる。
  論文  参考訳（メタデータ） (2026-04-25T11:01:27Z)
• From Human Hands to Robot Arms: Manipulation Skills Transfer via Trajectory Alignment [36.08997778717271]
  現実世界のロボットの多様な操作スキルを学ぶことは、高価でスケールの難しい遠隔操作によるデモンストレーションに依存することでボトルネックとなる。 本稿では,操作終端の3次元軌跡を統一中間表現として利用することにより,この実施ギャップを橋渡しする新しいフレームワークであるTraj2Actionを紹介する。 我々の方針はまず,人間とロボットの両方のデータを活用することで,高レベルの運動計画を形成する粗い軌道を生成することを学習する。
  論文  参考訳（メタデータ） (2025-10-01T04:21:12Z)
• MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
  低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。 視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。 視点安定化のためにEgoStabilizerを提案する。 動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
  論文  参考訳（メタデータ） (2025-09-26T11:05:10Z)
• Toward Aligning Human and Robot Actions via Multi-Modal Demonstration Learning [3.9738951919572827]
  本稿では,Voxelized RGB-D空間におけるロボットデモを用いて,RGBビデオから人間デモを明示的にモデル化するフレームワークを提案する。 本稿では,人間の意図モデリングのためのResNetベースの視覚符号化と,ボクセルに基づくロボット行動予測のためのPerceiver Transformerを組み合わせる。
  論文  参考訳（メタデータ） (2025-04-14T21:14:51Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。