論文の概要: DexStitch: Learning and Composing Dexterous Skills from Human Videos via Contact-Aware Robotic Inpainting

• arxiv url: http://arxiv.org/abs/2610.17789v1
• Date: Tue, 13 Oct 2026 06:18:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 17:17:14.763723
• Title: DexStitch: Learning and Composing Dexterous Skills from Human Videos via Contact-Aware Robotic Inpainting
• Title（参考訳）: DexStitch: コンタクト認識型ロボットによる人間のビデオからDexterous Skillを学習し、合成する
• Abstract要約: 人間のビデオは、スケーラブルなデモのソースを提供するが、それらをロボットに転送するには、ロボット互換の観察とアクションを抽出する必要がある。 DexStitchは、長期の人間のビデオスキルとトランジションをカットし、学習したスキルをシーケンスに縫合するフレームワークである。 家庭のスキルは4つあり、DexStitchは80.0%のシングルスキルで成功し、77.5%のシークエンスで成功している。
• 参考スコア（独自算出の注目度）: 16.157084060887822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A long-horizon manipulation task consists of primitive skills and the transitions connecting them. Learning skills that can be executed in sequence requires supervision for both, which is costly to collect on a robot. Human videos offer a scalable source of demonstrations, but transferring them to robots requires extracting robot-compatible observations and actions together with their skill structure. We present DexStitch, a framework that cuts long-horizon human videos into skills and transitions, converts them into aligned robot observation-action-skill data, and stitches the learned skills into a requested sequence. A skill classifier first segments the videos into manipulation skills and transitions. DexStitch then converts the human demonstrations into robot observations and actions while retaining their corresponding skill labels. During conversion, per-finger human-object contacts guide dexterous hand retargeting and robotic inpainting, preserving contact geometry and finger-object occlusion ordering. To stitch the learned skills into a sequence, a shared skill-conditioned policy is pretrained on the resulting synthetic data and finetuned on a mixture of synthetic data and a small set of single-skill teleoperation episodes. Conditioning on the current and next skills guides each transition toward the following skill, while predicted skill progression enables closed-loop switching. On a held-out session, the classifier agrees with manual annotations on 92.4% of frames. Across four household skills, DexStitch achieves 80.0% single-skill success and 77.5% sequence success.
• Abstract（参考訳）: ロングホライゾン操作タスクは、原始的なスキルとそれらを接続する遷移から構成される。 シークエンスで実行可能な学習スキルは、ロボットで収集するのにコストがかかるため、双方の監督を必要とする。 人間のビデオは、スケーラブルなデモのソースを提供するが、それらをロボットに転送するには、ロボットと互換性のある観察とアクションを、彼らのスキル構造とともに抽出する必要がある。 DexStitchは、人間の長時間映像をスキルとトランジションにカットし、それらを協調したロボット観察・アクションスキルデータに変換し、学習したスキルを要求されたシーケンスに縫合するフレームワークである。 スキル分類器は、まずビデオを操作スキルと遷移に分割する。 DexStitchは、人間のデモをロボットの観察とアクションに変換し、それに対応するスキルラベルを保持する。 変換中、指ごとの人体接触は、接触形状と指介在物の順序を保ちながら、器用な手の再ターゲティングとロボットの塗布をガイドする。 学習したスキルをシーケンスに縫合するために、得られた合成データに基づいて共有スキル条件付きポリシーを事前訓練し、合成データと少数の単スキル遠隔操作エピソードとを混合して微調整する。 現在のスキルと次のスキルの条件付けは、各移行を次のスキルに導く一方で、予測されたスキル進歩はクローズループスイッチを可能にする。 保留セッションでは、分類器は92.4%のフレームのマニュアルアノテーションと一致している。 家庭のスキルは4つあり、DexStitchは80.0%のシングルスキルで成功し、77.5%のシークエンスで成功している。

関連論文リスト

• Skel-WAM: A Hand-Skeleton-Conditioned World Action Model for Human-to-Robot Manipulation Transfer [61.50662046794264]
  Skel-WAMは,ハンドスケルトン・モーション・インタフェースの統一による差異をブリッジする世界アクション・モデルである。 主な洞察は、人間の動きとロボットの動きを共通のハンドトポロジーで調整し、シーン内の地面の動きを、明示的な手の動きをエンコードする2.5Dキーポイントと組み合わせることである。 ビデオとキーポイントの専門家は、Mixture-of-Transformersを通じて視覚と骨格のダイナミクスを共同で学習し、ロボット訓練されたアクションエキスパートはこれらの予測を実行可能なコントロールにマップする。
  論文  参考訳（メタデータ） (2026-09-18T09:06:15Z)
• Robots Acquire Manipulation Skills in Seconds from a Single Human Video [30.999247562623875]
  HOST(Human-to-robot One-Shot Skill AcquisiTion)は、ロボットが人間のビデオから数秒でスキルを習得することを可能にするフレームワークである。 HOSTは、自己接地予測のカスケードを通じて、スキル獲得を解決する。
  論文  参考訳（メタデータ） (2026-07-22T11:20:05Z)
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
  DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。 DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。 ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:02Z)
• HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos [74.43500240121476]
  我々はHumanXについて紹介する。HumanXは人間の動画を、ヒューマノイドのための汎用的で現実的なインタラクションスキルにコンパイルするフルスタックのフレームワークである。 HumanXは、従来の方法より8倍高い一般化成功を達成する。
  論文  参考訳（メタデータ） (2026-02-02T18:53:01Z)
• Learning Human Skill Generators at Key-Step Levels [56.91737190115577]
  キーステップスキル生成(KS-Gen)は、人間のスキルビデオの生成の複雑さを軽減することを目的としている。 初期状態とスキル記述から、そのスキルを完成させるために重要なステップのビデオクリップを生成する。 KS-Genの複雑さを考慮し、本課題のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:21:40Z)
• XSkill: Cross Embodiment Skill Discovery [41.624343257852146]
  XSkillは、非ラベルの人間とロボットの操作ビデオから純粋に、スキルプロトタイプと呼ばれるクロスボデーメント表現を発見する模倣学習フレームワークである。 シミュレーションと実環境における実験により,見知らぬタスクのスキル伝達と構成を容易にする技術プロトタイプが発見された。
  論文  参考訳（メタデータ） (2023-07-19T12:51:28Z)
• RH20T: A Comprehensive Robotic Dataset for Learning Diverse Skills in One-Shot [56.130215236125224]
  オープンドメインでのロボット操作における重要な課題は、ロボットの多様性と一般化可能なスキルの獲得方法である。 単発模倣学習の最近の研究は、訓練されたポリシーを実証に基づく新しいタスクに移行する可能性を示唆している。 本稿では,エージェントがマルチモーダルな知覚で数百の現実世界のスキルを一般化する可能性を解き放つことを目的とする。
  論文  参考訳（メタデータ） (2023-07-02T15:33:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。