論文の概要: Learning Versatile Humanoid Manipulation with Touch Dreaming

• arxiv url: http://arxiv.org/abs/2604.13015v1
• Date: Tue, 14 Apr 2026 17:54:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.596195
• Title: Learning Versatile Humanoid Manipulation with Touch Dreaming
• Title（参考訳）: タッチドリームによる触覚操作の学習
• Authors: Yaru Niu, Zhenlong Fang, Binghong Chen, Shuai Zhou, Revanth Senthilkumaran, Hao Zhang, Bingqing Chen, Chen Qiu, H. Eric Tseng, Jonathan Francis, Ding Zhao,
• Abstract要約: 我々は, 接触に富むヒト型ロコ操作について検討した。 まず, 安定な下半身および胴体実行を実現するRLベースの全体制御器を開発した。 次に,マルチモーダルエンコーダ-デコーダ変換器であるHTD(Humanoid Transformer with Touch Dreaming)を提案する。
• 参考スコア（独自算出の注目度）: 33.65998002598862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humanoid robots promise general-purpose assistance, yet real-world humanoid loco-manipulation remains challenging because it requires whole-body stability, dexterous hands, and contact-aware perception under frequent contact changes. In this work, we study dexterous, contact-rich humanoid loco-manipulation. We first develop an RL-based whole-body controller that provides stable lower-body and torso execution during complex manipulation. Built on this controller, we develop a whole-body humanoid data collection system that combines VR-based teleoperation with human-to-humanoid motion mapping, enabling efficient collection of real-world demonstrations. We then propose Humanoid Transformer with Touch Dreaming (HTD), a multimodal encoder--decoder Transformer that models touch as a core modality alongside multi-view vision and proprioception. HTD is trained in a single stage with behavioral cloning augmented by touch dreaming: in addition to predicting action chunks, the policy predicts future hand-joint forces and future tactile latents, encouraging the shared Transformer trunk to learn contact-aware representations for dexterous interaction. Across five contact-rich tasks, Insert-T, Book Organization, Towel Folding, Cat Litter Scooping, and Tea Serving, HTD achieves a 90.9% relative improvement in average success rate over the stronger baseline. Ablation results further show that latent-space tactile prediction is more effective than raw tactile prediction, yielding a 30% relative gain in success rate. These results demonstrate that combining robust whole-body execution, scalable humanoid data collection, and predictive touch-centered learning enables versatile, high-dexterity humanoid manipulation in the real world. Project webpage: humanoid-touch-dream.github.io.
• Abstract（参考訳）: ヒューマノイドロボットは汎用的な支援を約束するが、ボディ全体の安定性、器用な手、接触認識を必要とするため、現実のヒューマノイドのロボ操作は依然として困難である。 本研究では, 接触に富むヒト型ロボットの創製について検討した。 まず, 複雑な操作を行う際に, 安定な下半身および胴体実行を実現するRLベースの全体制御器を開発する。 このコントローラをベースとして,VRによる遠隔操作と人間間モーションマッピングを組み合わせることで,実世界のデモの効率的な収集を可能にする,全身型ヒューマノイドデータ収集システムを開発した。 次に,マルチビュービジョンとプロプリセプションとともにタッチをコアモダリティとしてモデル化するマルチモーダルエンコーダデコーダトランスである,タッチドリーム付きヒューマノイドトランス (HTD) を提案する。 アクションチャンクの予測に加えて、このポリシーは将来のハンドジョイント力と将来の触覚潜伏剤を予測し、共有トランスフォーマートランクにデキスタスインタラクションのための接触認識表現を学習するよう促す。 接触の多い5つのタスク、Insert-T、Book Organization、Towel Folding、Cat Litter Scooping、Tea Servingにおいて、HTDはより強力なベースラインよりも平均的な成功率を90.9%向上させる。 アブレーションの結果,潜伏空間の触覚予測は生の触覚予測よりも有効であり,30%の相対的な成功率が得られることがわかった。 これらの結果は、堅牢な全体実行、スケーラブルなヒューマノイドデータ収集、および予測タッチ中心学習を組み合わせることで、現実世界で多目的で高デキスタリティなヒューマノイド操作が可能になることを実証している。 プロジェクトWebページ: Humanoid-touch-dream.github.io

関連論文リスト

• ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
  我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。 提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。 ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-10T04:19:43Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations [25.15848825594207]
  本稿ではHuMI(Humanoid Manipulation Interface)について述べる。 HuMIは、ポータブルハードウェアを使用して、リッチな全身の動きをキャプチャすることで、ロボットフリーのデータ収集を可能にする。 HuMIは遠隔操作に比べてデータ収集効率が3倍向上し、目に見えない環境では70%の成功率を達成した。
  論文  参考訳（メタデータ） (2026-02-06T12:10:47Z)
• TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System [79.48781507497769]
  既存のヒューマノイド遠隔操作システムは、分離された制御を使用するか、高価なモーションキャプチャー装置に依存している。 本稿では,携帯型モキャップフリーなヒューマノイド遠隔操作・データ収集システムであるTWIST2を紹介する。 長軸的,移動的ヒューマノイドスキルを実証し,約100%の成功率で15分で100個のデモを収集できる。
  論文  参考訳（メタデータ） (2025-11-04T18:58:35Z)
• DEXOP: A Device for Robotic Transfer of Dexterous Human Manipulation [39.95361636017463]
  周操作は、人間の操作を感知し記録し、実際のロボットへのデータの転送可能性を最大化する、ロボットデータ収集のパラダイムである。 我々は,このパラダイムを,自然環境における多種多様な操作タスクのためのリッチな感覚(視覚+触覚)データ収集能力の最大化を目的とした,受動的手外骨格であるDEXOPに実装する。
  論文  参考訳（メタデータ） (2025-09-04T17:57:13Z)
• TWIST: Teleoperated Whole-Body Imitation System [28.597388162969057]
  全身動作模倣によるヒューマノイド遠隔操作システムTWISTについて述べる。 我々は,強化学習と行動クローニングを組み合わせた,頑健で適応的で応答性の高い全身制御装置を開発した。 TWISTは、現実世界のヒューマノイドロボットが、前例のない、多目的で、調整された全身運動能力を達成できるようにする。
  論文  参考訳（メタデータ） (2025-05-05T17:59:03Z)
• Digitizing Touch with an Artificial Multimodal Fingertip [51.7029315337739]
  人間とロボットはどちらも、周囲の環境を知覚し、相互作用するためにタッチを使うことの恩恵を受ける。 ここでは、タッチのデジタル化を改善するための概念的および技術革新について述べる。 これらの進歩は、高度なセンシング機能を備えた人工指型センサーに具現化されている。
  論文  参考訳（メタデータ） (2024-11-04T18:38:50Z)
• RealDex: Towards Human-like Grasping for Robotic Dexterous Hand [64.33746404551343]
  本稿では,人間の行動パターンを取り入れた手の動きを正確に把握する先駆的データセットであるRealDexを紹介する。 RealDexは、現実のシナリオにおける認識、認識、操作を自動化するためのヒューマノイドロボットを進化させる上で、大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2024-02-21T14:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。