論文の概要: AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning
- arxiv url: http://arxiv.org/abs/2608.14028v1
- Date: Fri, 14 Aug 2026 07:19:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.303932
- Title: AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning
- Title（参考訳）: AdvDex: 協調行動と敵対的学習を通して、人間のデモから有害な操作を学習する
- Abstract要約: 本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。
まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。
第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
- 参考スコア（独自算出の注目度）: 25.241504281004243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dexterous manipulation is a fundamental capability for embodied intelligence, but scaling it remains difficult because robot demonstrations are expensive to collect and action spaces vary across embodiments. Policies trained on heterogeneous data can also entangle task-relevant visual cues with embodiment-specific appearance, limiting cross-embodiment generalization. We present AdvDex, a unified Vision-Language-Action framework for learning dexterous manipulation from human and robot demonstrations. First, we introduce OmniShare, a large-scale multimodal dataset of human manipulation demonstrations that provides high-quality kinematic supervision and tactile measurements while reducing reliance on robot teleoperation. Second, we propose the Joint-Aligned Action Space (JAAS), a canonical action representation comprising an $\mathrm{SE}(3)$ wrist pose and 15 finger joints, thereby functionally aligning human hands, dexterous robot hands, and parallel grippers. Finally, we use domain-adversarial learning to reduce embodiment-specific information in the learned visual representation. Experiments on hand-action prediction and real-world dexterous manipulation show consistent improvements over baselines, effective zero-shot human-to-robot skill transfer, generalization to unseen objects and environments, and data-efficient few-shot adaptation.
- Abstract（参考訳）: 有害な操作は、インテリジェンスを具現化するための基本的な能力であるが、ロボットのデモンストレーションは高価であり、動作空間は実施形態によって異なるため、スケーリングは依然として困難である。
不均一なデータに基づいて訓練されたポリシーは、タスク関連視覚的手がかりを具体的外観と絡めて、クロス・エボディメントの一般化を制限することもできる。
本稿では,人間とロボットのデモから器用な操作を学習するための統合ビジョン・ランゲージ・アクション・フレームワークであるAdvDexを紹介する。
まず,OmniShareを紹介し,ロボット遠隔操作への依存度を低減しつつ,高品質なキネマティック・インスペクションと触覚測定を提供する,人間の操作デモの大規模マルチモーダルデータセットについて紹介する。
第2に,手首ポーズが$\mathrm{SE}(3)$手首ポーズと15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
最後に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
手動予測と実世界のデキスタラス操作の実験は、ベースライン、効果的なゼロショット人間とロボットのスキル伝達、見えないオブジェクトや環境への一般化、データ効率の低い少数ショット適応よりも一貫した改善を示している。
関連論文リスト
- AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。
私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。
大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
論文 参考訳（メタデータ） (2026-08-29T12:55:15Z) - HumanoidUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation [6.733928872257592]
我々はHumanoidUMIを提案する。HumanoidはHumanoid全体データ収集のためのポータブルかつロボットフリーなフレームワークである。
軽量なVRデバイスとUMIにインスパイアされたグリッパーを使用して、スパースな人間のキーポイント軌跡、手首視観察、グリッパーアクションを収集します。
5つの実世界のシナリオで実験を行い、提案したフレームワークの有効性を実証した。
論文 参考訳（メタデータ） (2026-06-25T16:23:56Z) - BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances [11.402773793645244]
ロボットのデモデータを必要とせずに、人間のビデオから直接ロボット操作を学習するフレームワークであるBridgeACTを紹介する。
私たちのキーとなるアイデアは、人間のデモンストレーションとロボットのアクションを橋渡しする、具体化に依存しない中間表現として、余暇をモデル化することです。
得られた余裕は、把握モジュールと軽量閉ループモーションコントローラを介してロボット動作にマッピングされる。
論文 参考訳（メタデータ） (2026-04-25T11:01:27Z) - ActiveGlasses: Learning Manipulation with Active Vision from Ego-centric Human Demonstration [51.69384671495837]
ActiveGlassesは、エゴ中心の人間のデモからロボット操作を学習するシステムである。
スマートグラスに装着されたステレオカメラは、データ収集とポリシー推論の両方のための唯一の認識装置として機能する。
ゼロ・トランスファーを可能にするために,デモからオブジェクト・トラジェクトリを抽出し,オブジェクト中心のポイント・クラウド・ポリシーを用いて操作と頭部運動を協調的に予測する。
論文 参考訳（メタデータ） (2026-04-09T17:59:08Z) - Cross-Hand Latent Representation for Vision-Language-Action Models [49.32460749933983]
器用な操作のための信頼性の高い視覚言語アクションモデルを訓練するには、多くのロボットハンドにわたる大規模な実演が必要である。
XL-VLAは視覚・言語・アクション・フレームワークであり,多種多様な手間で共有される潜在行動空間と統合される。
論文 参考訳（メタデータ） (2026-03-10T18:50:57Z) - DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。
DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。
ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
論文 参考訳（メタデータ） (2026-02-10T18:59:02Z) - METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model [36.82365894983052]
大きなボトルネックは、デクスタラススキルのための大規模でアクションアノテートされたデータの不足にある。
我々は,エゴセントリックなデータセット上で事前学習したデクスタラス操作のための視覚言語アクションモデルMETISを提案する。
提案手法は,6つの実世界のタスクにおける平均成功率を達成し,異常な操作能力を示す。
論文 参考訳（メタデータ） (2025-11-21T16:32:36Z) - One-Shot Imitation under Mismatched Execution [7.060120660671016]
人間のデモは、ロボットに長距離操作のタスクをプログラムするための強力な方法だ。
これらのデモをロボット実行可能なアクションに変換することは、運動スタイルや身体能力のミスマッチの実行による重大な課題を呈する。
シーケンスレベルの最適輸送コスト関数を用いて,人間とロボットの軌道を自動的にペアリングする新しいフレームワークRHyMEを提案する。
論文 参考訳（メタデータ） (2024-09-10T16:11:57Z) - RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.33746404551343]
本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。
RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
論文 参考訳（メタデータ） (2024-02-21T14:59:46Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳（メタデータ） (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。