論文の概要: Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
- arxiv url: http://arxiv.org/abs/2512.19583v1
- Date: Mon, 22 Dec 2025 17:08:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 08:17:40.472982
- Title: Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations
- Title（参考訳）: 合成デモから一般化可能な手動物体追跡を学習する
- Authors: Yinhuai Wang, Runyi Yu, Hok Wai Tsui, Xiaoyi Lin, Hui Zhang, Qihan Zhao, Ke Fan, Miao Li, Jie Song, Jingbo Wang, Qifeng Chen, Ping Tan,
- Abstract要約: 本研究では,人間による実演を必要とせず,合成データから汎用的な手動物体追跡制御系を学習するシステムを提案する。
提案手法は,(1)多種多様な対象物軌跡を合成可能なハンドオブジェクトプランナであるHOPと,(2)強化学習と相互作用模倣学習を通じて合成と物理の伝達をブリッジするハンドオブジェクトトラッカーであるHOTの2つの重要な貢献を行う。
- 参考スコア（独自算出の注目度）: 71.15185260689928
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present a system for learning generalizable hand-object tracking controllers purely from synthetic data, without requiring any human demonstrations. Our approach makes two key contributions: (1) HOP, a Hand-Object Planner, which can synthesize diverse hand-object trajectories; and (2) HOT, a Hand-Object Tracker that bridges synthetic-to-physical transfer through reinforcement learning and interaction imitation learning, delivering a generalizable controller conditioned on target hand-object states. Our method extends to diverse object shapes and hand morphologies. Through extensive evaluations, we show that our approach enables dexterous hands to track challenging, long-horizon sequences including object re-arrangement and agile in-hand reorientation. These results represent a significant step toward scalable foundation controllers for manipulation that can learn entirely from synthetic data, breaking the data bottleneck that has long constrained progress in dexterous manipulation.
- Abstract（参考訳）: 本研究では,人間による実演を必要とせず,合成データから汎用的な手動物体追跡制御系を学習するシステムを提案する。
提案手法は,(1)多種多様な手対象軌跡を合成可能な手対象平面HOP,(2)強化学習と相互作用模倣学習を通じて合成と物理の伝達をブリッジする手対象追跡器HOT,の2つの重要な貢献をし,対象手対象状態に調和した一般化可能なコントローラを提供する。
本手法は多種多様な物体形状と手形態に拡張する。
広範囲な評価を通じて,本手法は,オブジェクトの再配置やアジャイルの内向き再構成など,難易度の高い長期配列の追跡を可能にすることを示す。
これらの結果は、合成データから完全に学習可能な操作のためのスケーラブルなファンデーションコントローラへの重要なステップであり、厳密な操作の進捗を長く制限してきたデータのボトルネックを破ることになる。
関連論文リスト
- FSAG: Enhancing Human-to-Dexterous-Hand Finger-Specific Affordance Grounding via Diffusion Models [11.581489292735418]
デクサラスグリップ合成は機能的意図と物理的実現性を満たす必要があるが、既存のパイプラインはしばしば洗練からセマンティックグラウンドを分離する。
本研究では、事前学習された生成拡散モデルにおいて、対象中心のセマンティックな事前情報を活用することで、ロボットの把握データ収集を回避できるデータ効率フレームワークを提案する。
この結果は,人間の実演と事前学習した生成モデルによって駆動される,スケーラブルでハードウェアに依存しないデキスタラスな操作への道のりを浮き彫りにした。
論文 参考訳（メタデータ） (2026-01-13T06:08:56Z) - MaskedManipulator: Versatile Whole-Body Manipulation [38.02818493367002]
本研究では,大規模な人体モーションキャプチャーデータに基づいて学習したトラッキングコントローラから生成制御ポリシーであるMaskedManipulatorを紹介する。
この2段階の学習プロセスにより、システムは複雑なインタラクション動作を実行でき、キャラクタとオブジェクトの両方の動作を直感的に制御できる。
論文 参考訳（メタデータ） (2025-05-25T10:46:14Z) - SIGHT: Synthesizing Image-Text Conditioned and Geometry-Guided 3D Hand-Object Trajectories [124.24041272390954]
手動物体の相互作用をモデル化することは、ロボットと具体化されたAIシステムを前進させる大きな可能性を秘めている。
SIGHTは、1つの画像から現実的で物理的に妥当な3Dハンドオブジェクトインタラクショントラジェクトリを生成することに焦点を当てた,新しいタスクである。
SIGHT-Fusionは,データベースから最もよく似た3Dオブジェクトメッシュを抽出し,この課題に対処する,新しい拡散型画像文条件付き生成モデルを提案する。
論文 参考訳（メタデータ） (2025-03-28T20:53:20Z) - Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。
以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
論文 参考訳（メタデータ） (2024-04-25T17:59:41Z) - DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
DiffH2Oとよばれる新しい手法を提案する。
本手法では,限られたデータから効果的な学習を可能にする3つの手法を導入する。
論文 参考訳（メタデータ） (2024-03-26T16:06:42Z) - TACO: Benchmarking Generalizable Bimanual Tool-ACtion-Object Understanding [44.206222326616526]
TACOは、日々の人間活動のための多種多様なツール・アクション・オブジェクト・コンポジションにまたがる広範囲なデータセットである。
TACOには、第三者や自我中心のビュー、正確な手動3Dメッシュ、アクションラベルと組み合わせた2.5Kのモーションシーケンスが含まれている。
本研究は,構成動作認識,一般化可能なハンドオブジェクト動作予測,協調的グリップ合成という,汎用的な3つのハンドオブジェクトインタラクションタスクをベンチマークする。
論文 参考訳（メタデータ） (2024-01-16T14:41:42Z) - Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。
まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文 参考訳（メタデータ） (2021-08-16T12:26:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。