論文の概要: Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations

• arxiv url: http://arxiv.org/abs/2606.10614v1
• Date: Tue, 09 Jun 2026 09:13:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.415173
• Title: Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations
• Title（参考訳）: Dexterous Point Policy:人間のデモからポイントベースのDexterous Hand Policiesを学ぶ
• Authors: Beomjun Kim, Seong Hyeon Park, Seunghoon Sim, Seungjun Moon, Sanghyeok Lee, Jinwoo Shin,
• Abstract要約: Dexterous Point Policyは、人間のビデオから直接繊細な操作ポリシーを学び、ロボットのデモを必要としない。 課題関連オブジェクトと人間の手の3Dキーポイントを生ビデオから抽出し,これらのキーポイント上で自己回帰変換器を訓練する。 デクサラスポイント・ポリシーは、ピック・アンド・プレイスとツール・ユースにまたがるリアル・ロボットの一連のタスクで75.0%の成功を収め、最先端のVLAベースラインは1.0%にしか達していない。
• 参考スコア（独自算出の注目度）: 47.549615826832856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Robotic foundation models pre-trained on human demonstration videos have shown promise, but a significant embodiment gap remains when the resulting policies are deployed on real robots. A common remedy is to fine-tune these models on robot-specific demonstrations. However, robot data collection can be prohibitively expensive and time-consuming, which is particularly acute in dexterous manipulation, e.g., teleoperating a multi-fingered hand for even a single atomic task can take days. To address this, we introduce Dexterous Point Policy, a framework that learns dexterous manipulation policies directly from human videos and requires no robot demonstrations. Our core insight is that a unified 3D keypoint representation can bridge human and robot embodiments when used for both observations and actions. Specifically, we extract 3D keypoints of task-relevant objects and human hands from raw videos, and train an autoregressive transformer over these keypoints. We observe that at the keypoint level, specifically the wrist and fingertips, human and robot behaviors closely align, enabling direct policy transfer. On a suite of real-robot tasks spanning pick-and-place and tool use, Dexterous Point Policy attains 75.0% success, whereas a state-of-the-art VLA baseline reaches only 1.0%. Furthermore, our method generalizes strongly to unseen scenarios, including multi-object environments and novel object categories.
• Abstract（参考訳）: 人間のデモビデオで事前訓練されたロボット基礎モデルは、将来性を示しているが、実際のロボットにポリシーが展開された時点では、大きな具体的ギャップが残っている。 一般的な治療法は、ロボット固有のデモでこれらのモデルを微調整することである。 しかし、ロボットのデータ収集は極めて高価で時間を要する可能性があるため、特に器用な操作では、例えば、複数の指を遠隔操作することで、1つの原子タスクでも数日かかる可能性がある。 そこで我々は,人間のビデオから直接デクスタラスな操作ポリシーを学習し,ロボットによるデモンストレーションを必要としないフレームワークであるDexterous Point Policyを紹介した。 私たちの中核的な洞察は、統一された3Dキーポイント表現は、観察と行動の両方に使用されるとき、人間とロボットのエンボディメントを橋渡しできるということです。 具体的には,タスク関連オブジェクトと人間の手の3Dキーポイントを生ビデオから抽出し,これらのキーポイント上で自己回帰変換器を訓練する。 キーポイントレベルでは、特に手首と指先では、人間とロボットの動作が密接に一致し、直接的なポリシー伝達を可能にします。 デクサラスポイント・ポリシーは、ピック・アンド・プレイスとツール・ユースにまたがるリアル・ロボットの一連のタスクで75.0%の成功を収め、最先端のVLAベースラインは1.0%にしか達していない。 さらに,本手法は,マルチオブジェクト環境や新しいオブジェクトカテゴリなど,目に見えないシナリオに強く一般化する。

関連論文リスト

• Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations [52.29884993824894]
  自然環境で日々のタスクを行う人間から、マルチフィンガーロボットポリシーを学ぶことは、ロボットコミュニティにとって長年の大きな目標だった。 AINAは、Aria Gen 2メガネを使用して、どこでも、どこでも、あらゆる環境で収集されたデータから、マルチフィンガーポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:02Z)
• Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation [65.46610405509338]
  我々は、ゼロショットロボット操作を可能にする汎用的な目標条件ポリシーを学習することを目指している。 私たちのフレームワークであるTrack2Actは、ゴールに基づいて将来のタイムステップで画像内のポイントがどのように動くかを予測する。 学習したトラック予測を残留ポリシーと組み合わせることで,多種多様な汎用ロボット操作が可能となることを示す。
  論文  参考訳（メタデータ） (2024-05-02T17:56:55Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。