論文の概要: LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation
- arxiv url: http://arxiv.org/abs/2606.23685v1
- Date: Mon, 22 Jun 2026 17:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 17:09:06.964026
- Title: LaST-HD: Learning Latent Physical Reasoning from Scalable Human Data for Robot Manipulation
- Title（参考訳）: LaST-HD:ロボット操作のためのスケーラブルな人体データから潜在物理推論を学習する
- Authors: Jiaming Liu, Yinxi Wang, Chenyang Gu, Siyuan Qian, Xiangju Mi, Hao Chen, Jiawei Chen, Qingpo Wuwu, Xiaoqi Li, Nuowei Han, Yiming Zhang, Xuheng Zhang, Yang Yue, Yeqing Yang, Lei Wang, Peng Jia, Hao Tang, Shanghang Zhang,
- Abstract要約: 本稿では,人間からロボットまでのアクション学習パラダイムであるLaST-HDを紹介する。
LaST-HDは、人間とロボットのデモを共有潜在推論空間で調整する。
人手データ収集のためのLaST-HDに適した低コストモーションキャプチャーグローブであるOut-of-Lab (OOL) Gloveを開発した。
- 参考スコア（独自算出の注目度）: 42.24237049248472
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-hand demonstrations provide a direct and scalable source of physical interaction data for robot learning. While manual retargeting is indispensable for establishing kinematic action correspondence across different morphologies, robust transfer requires going beyond geometry to address the underlying alignment of physical dynamics between human and robot manipulation. To address this, we introduce LaST-HD, a novel human-to-robot action learning paradigm that extends reasoning-before-acting VLA by aligning human-hand and robot demonstrations in a shared latent reasoning space. Rather than mimicking human kinematics, LaST-HD trains an auxiliary action-conditioned world model on unpaired human-hand and robot trajectories to synthesize unified latent targets. After aligning cross-embodiment representations in this shared forward-dynamics space, these targets supervise LaST-HD's latent reasoning process, enabling it to internalize shared physical dynamics and drive efficient human-hand action learning. Moreover, we develop Out-of-Lab (OOL) Glove, a low-cost motion-capture glove tailored to LaST-HD for human-hand data collection. The captured human data provide precise keypoints and serve as universal action supervision across grippers and dexterous hands. Armed with the aligned latent space and high-fidelity human-hand data, we develop a progressive mixed-to-human training recipe comprising mixed human-robot co-training and human-hand online correction post-training. Through mixed co-training, LaST-HD improves generalization to novel objects, scenes, and positions using only human-hand demonstrations. With online correction, LaST-HD further adapts to novel environments and achieves over 90\% accuracy using only 20 minutes of OOL glove data.
- Abstract（参考訳）: ヒューマンハンドのデモは、ロボット学習のための物理的相互作用データの直接的かつスケーラブルなソースを提供する。
手動のリターゲティングは、異なる形態の運動的行動対応を確立するのに不可欠であるが、ロバストトランスファーは、人間とロボットの操作の間の物理力学の基本的なアライメントに対処するために、幾何を超えて行く必要がある。
これを解決するために,人間の手とロボットのデモンストレーションを協調して,推論を前もって行うVLAを拡張した,新しい人間とロボットのアクション学習パラダイムであるLaST-HDを紹介する。
人間のキネマティクスを模倣する代わりに、LaST-HDは無傷の人間とロボットの軌道上で補助的な行動条件の世界モデルを訓練し、統合された潜伏目標を合成する。
この共有フォワードダイナミックス空間におけるクロスボデーメント表現の整列後、これらのターゲットはLaST-HDの潜在推論プロセスを監督し、共有物理力学を内部化し、効率的な人手動作学習を可能にする。
また,手動データ収集のためのLaST-HDに適した低コストモーションキャプチャグローブであるOut-of-Lab (OOL) Gloveを開発した。
捕獲された人間のデータは正確なキーポイントを提供し、握り手と器用な手の間で普遍的な行動監視を提供する。
一致した潜伏空間と高忠実な人手データを用いて、人間ロボットの協調訓練と人手オンラインのトレーニング後修正を組み合わせた、段階的な混合人手訓練のレシピを開発した。
混合コトレーニングにより、LaST-HDは人手によるデモンストレーションのみを使用して、新しい物体、シーン、位置への一般化を改善する。
オンライン修正では、LaST-HDは新たな環境に適応し、OOLグローブデータのわずか20分で90%以上の精度を達成する。
関連論文リスト
- Human2Humanoid: Physics-Aware Cross-Morphology Motion Retargeting for Humanoid Robots [9.096721498763717]
人間の動きをヒューマノイドロボットに再ターゲティングすることは、遠隔操作、模倣学習、人間とロボットの相互作用にとって重要である。
本稿では,人間の動作を高忠実度なヒューマノイドロボットに伝達する,教師なし動作フレームワークであるHuman2Humanを提案する。
実験の結果, 提案手法は, ペアデータを持たないユニトリーG1ヒューマノイドロボットに対して, 人間の動きを的確に再現することに成功した。
論文 参考訳（メタデータ） (2026-06-02T10:53:06Z) - ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。
提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。
ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
論文 参考訳（メタデータ） (2026-03-10T04:19:43Z) - EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。
スケーラブルな人的データ収集のためのポータブルシステムを開発した。
論文 参考訳（メタデータ） (2026-02-10T18:59:03Z) - ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning [59.64325421657381]
ヒューマノイド全体のロコ操作は、日々のサービスや倉庫のタスクにトランスフォーメーション機能を約束する。
ResMimicは、人間の動作データから正確に表現力のあるヒューマノイド制御のための2段階の残差学習フレームワークである。
結果は、強いベースラインよりもタスク成功、トレーニング効率、堅牢性が大幅に向上したことを示している。
論文 参考訳（メタデータ） (2025-10-06T17:47:02Z) - Towards Immersive Human-X Interaction: A Real-Time Framework for Physically Plausible Motion Synthesis [51.95817740348585]
Human-Xは、様々な実体をまたいだ没入的で物理的に妥当なヒューマンインタラクションを可能にするために設計された、新しいフレームワークである。
本手法は, 自己回帰型反応拡散プランナを用いて, リアルタイムに反応と反応を同時予測する。
我々のフレームワークは、人間とロボットのインタラクションのための仮想現実インターフェースを含む、現実世界のアプリケーションで検証されている。
論文 参考訳（メタデータ） (2025-08-04T06:35:48Z) - 3HANDS Dataset: Learning from Humans for Generating Naturalistic Handovers with Supernumerary Robotic Limbs [64.99122701615151]
スーパー数式ロボットアーム(英: Supernumerary Robotics limbs、SRL)は、ユーザーの身体と密に統合されたロボット構造である。
3HANDSは,日常活動を行う参加者と,ヒップマウントSRLを自然な方法で実施する参加者との間の,オブジェクトハンドオーバインタラクションの新たなデータセットである。
本稿では,自然なハンドオーバ軌跡を生成する3つのモデル,適切なハンドオーバエンドポイントを決定する1つのモデル,ハンドオーバ開始のタイミングを予測する3つのモデルを提案する。
論文 参考訳（メタデータ） (2025-03-06T17:23:55Z) - Human-Humanoid Robots Cross-Embodiment Behavior-Skill Transfer Using Decomposed Adversarial Learning from Demonstration [9.42179962375058]
本稿では,デジタル人間モデルを共通プロトタイプとして使用することにより,データのボトルネックを低減するための転送可能なフレームワークを提案する。
このモデルは、人間による実演から、敵対的な模倣を通して行動プリミティブを学習し、複雑なロボット構造を機能的な構成要素に分解する。
本フレームワークは,多種多様な構成のヒューマノイドロボット5体を用いて検証した。
論文 参考訳（メタデータ） (2024-12-19T18:41:45Z) - Hierarchical Procedural Framework for Low-latency Robot-Assisted Hand-Object Interaction [45.256762954338704]
ロボット支援ハンドオブジェクトインタラクション(HOI)を実現するための階層型手続きフレームワークを提案する。
オープンループ階層は、手の動きをロボットの動きに変換するように設計されたモーションプリミティブに基づいて、RGBベースの人間の手の3D再構成を利用する。
リングウェアリングタスクのケーススタディは、医療や製造業などの補助技術への本研究の適用の可能性を示している。
論文 参考訳（メタデータ） (2024-05-29T21:20:16Z) - Learning Multimodal Latent Dynamics for Human-Robot Interaction [18.68936554172693]
本稿では,ヒト-ヒトインタラクション(HHI)から協調型人間-ロボットインタラクション(HRI)を学習する方法を提案する。
本研究では,隠れマルコフモデル(HMM)を変分オートエンコーダの潜在空間として用いて,相互作用するエージェントの結合分布をモデル化するハイブリッドアプローチを考案する。
利用者は,我々の手法を,より人間らしく,タイムリーで,正確なものと認識し,他の基準よりも高い選好度で評価する。
論文 参考訳（メタデータ） (2023-11-27T23:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。