論文の概要: DexSeed: Expanding Human Hand-Object Interactions into Robot Demonstrations for Dexterous Policy Learning
- arxiv url: http://arxiv.org/abs/2611.14092v1
- Date: Tue, 10 Nov 2026 13:52:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.825412
- Title: DexSeed: Expanding Human Hand-Object Interactions into Robot Demonstrations for Dexterous Policy Learning
- Title(参考訳): DexSeed:Dexterous Policy Learningのためのロボットデモにヒューマンハンドオブジェクトインタラクションを拡張する
- Abstract要約: 本研究では,視覚-言語-行動学習のための多種多様な物理的動作可能なロボットデモを生成する方法について検討する。
DexSeedは,人手-ロボット・オブジェクト間の相互作用から,低コストでデキスタス・ロボットデータを生成するためのフレームワークである。
- 参考スコア(独自算出の注目度): 67.11086498041455
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We study how to generate diverse, physically executable robot demonstrations for dexterous vision-language-action (VLA) learning. Existing demonstration-generation methods typically rely on costly teleoperated examples. Meanwhile, human hand--object datasets provide a reusable source, but existing transfer methods mainly reproduce given interactions. Turning these interactions into VLA training data further requires coverage of different objects and manipulation locations, together with executable arm and finger actions, and visual observations. To achieve this, we present DexSeed, a framework for low-cost generation of dexterous robot data from human hand--object interactions. Our key idea is to expand human sequences while preserving their grasps and realizing the resulting motions under arm-tracking dynamics in physics simulation. Specifically, we organize source sequences by grasp mode with shared language descriptions. InteractionMesh-based retargeting and arm trajectory augmentation adapt these sequences to the robot hand, different object geometries, and pick-and-place locations while preserving local hand--object relationships. An RL finger-control policy produces executable rollouts, while the arm tracks precomputed trajectories. Rendered observations and recorded actions from successful rollouts are paired with grasp descriptions to fine-tune a VLA. Experiments show improved contact fidelity in retargeting and more reliable whole-arm execution than the evaluated baselines. Simulation evaluation and real-world deployment further demonstrate that a VLA fine-tuned solely on the generated demonstrations can execute language-specified grasps. Project page: https://robbyant-research.github.io/DexSeed/.
- Abstract(参考訳): 本稿では,視覚言語学習(VLA)のための多種多様な物理的に実行可能なロボットデモを生成する方法について検討する。
既存のデモジェネレーション手法は、通常、高価な遠隔操作の例に依存している。
一方、人手オブジェクトデータセットは、再利用可能なソースを提供するが、既存の転送方法は、主に与えられたインタラクションを再現する。
これらのインタラクションをVLAトレーニングデータに変換するには、さまざまなオブジェクトのカバレッジと操作場所、実行可能な腕と指の動き、視覚的な観察が必要になる。
そこで本研究では,人手オブジェクトインタラクションから,低コストでデキスタスなロボットデータを生成するためのフレームワークであるDexSeedを提案する。
我々のキーとなる考え方は、人間のシークエンスを拡張しながら、握りを保ち、物理シミュレーションにおいて腕追跡力学の下で得られる動きを実現することである。
具体的には、言語記述を共有化することで、ソースシーケンスをグリップモードで整理する。
InteractionMeshベースのリターゲティングと腕の軌道拡張は、これらのシーケンスをロボットハンド、異なるオブジェクトジオメトリ、ピック・アンド・プレースに適応させ、局所的なハンド・オブジェクトの関係を保存する。
RLフィンガーコントロールポリシは実行可能なロールアウトを生成し、アームは事前に計算されたトラジェクトリを追跡する。
成功したロールアウトから記録された観察と記録されたアクションは、把握された記述と組み合わせてVLAを微調整する。
実験では、評価ベースラインよりも、リターゲティングにおける接触忠実度の向上と、より信頼性の高い全腕実行が示された。
シミュレーション評価と実世界の展開により、生成したデモのみに微調整されたVLAが言語指定のグリップを実行可能であることがさらに証明された。
プロジェクトページ: https://robbyant-research.github.io/DexSeed/
関連論文リスト
- FACT: A Multimodal Force-Action-Track Foundation Model for Human-to-Robot Dexterity [59.92965577251167]
本稿では,ロボット基礎モデルであるFACTについて述べる。
ツールの使用,楽器,精密実験室の手順を含む,きめ細かい調整と力フィードバックを必要とする10のタスクでモデルを評価した。
論文 参考訳(メタデータ) (2026-10-13T20:21:52Z) - AdvDex: Learning Dexterous Manipulation from Human Demonstrations via Joint-Aligned Actions and Adversarial Learning [25.241504281004243]
本稿では,人間とロボットのデモから,器用な操作を学ぶためのフレームワークであるAdvDexを紹介する。
まず、人間の操作デモの大規模マルチモーダルデータセットであるOmniShareを紹介する。
第2に,手首ポーズが$mathrmSE(3)$および15指関節からなる標準動作表現であるJAAS(Joint-Aligned Action Space)を提案する。
第3に,学習した視覚表現における具体的情報を減らすために,ドメイン・アドバイサル・ラーニングを用いる。
論文 参考訳(メタデータ) (2026-08-14T07:19:06Z) - From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。
この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。
この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文 参考訳(メタデータ) (2026-05-18T06:19:16Z) - Joint-Aligned Latent Action: Towards Scalable VLA Pretraining in the Wild [37.43820830488286]
JALAは,協調型潜在行動学習のための事前学習フレームワークである。
We scale this approach with UniHand-Mix, a 7.5M video corpus (>2,000時間) mixing lab and the-the-wild footage。
実験により、JALAは制御されたシナリオと制約のないシナリオの両方でより現実的な手の動きを生成することが示された。
論文 参考訳(メタデータ) (2026-02-25T09:46:42Z) - HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning [46.57163859424286]
本稿では,自動タスク生成およびデモコレクションフレームワークであるHumanoidGenを提案する。
具体的には,原子の操作に基づいて,資産と器用な手の両方に空間アノテーションを提供する。
実験では,収集したデータの品質を評価するために,拡張シナリオを用いた新しいベンチマークを作成する。
論文 参考訳(メタデータ) (2025-07-01T15:04:38Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳(メタデータ) (2025-03-28T20:53:20Z) - Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy [30.43930233035367]
VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。
VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。
提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
論文 参考訳(メタデータ) (2025-03-24T05:18:04Z) - Learning Manipulation by Predicting Interaction [85.57297574510507]
本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。
実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
論文 参考訳(メタデータ) (2024-06-01T13:28:31Z) - VoxPoser: Composable 3D Value Maps for Robotic Manipulation with
Language Models [38.503337052122234]
大規模言語モデル(LLM)は、ロボット操作のために抽出できる豊富な行動可能な知識を持っていることが示されている。
我々は,オープンな命令セットとオープンなオブジェクトセットが与えられた様々な操作タスクに対して,ロボット軌道を合成することを目指している。
筆者らは,接触に富んだインタラクションを含むシーンのダイナミックスモデルを効率的に学習することで,提案フレームワークがオンライン体験の恩恵を享受できることを実証する。
論文 参考訳(メタデータ) (2023-07-12T07:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。