論文の概要: SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework

• arxiv url: http://arxiv.org/abs/2605.20373v1
• Date: Tue, 19 May 2026 18:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.319254
• Title: SUGAR: A Scalable Human-Video-Driven Generalizable Humanoid Loco-Manipulation Learning Framework
• Title（参考訳）: SUGAR: スケーラブルなヒューマンビデオ駆動型汎用ヒューマノイドロコマニピュレーション学習フレームワーク
• Abstract要約: 現実の世界における全身のロボット操作を一般化できるヒューマノイドロボットの構築は、依然として根本的な課題である。 SuGARは、多様な人間の動画をデプロイ可能なヒューマノイドのロコ操作スキルに変換するスケーラブルなデータ駆動フレームワークである。 シミュレーションと実世界のヒューマノイドハードウェアにおいて,SUGARを6つの代表的ロコ操作タスクで評価する。
• 参考スコア（独自算出の注目度）: 27.050974194855964
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building humanoid robots capable of generalizable whole-body loco-manipulation in the real world remains a fundamental challenge. Existing methods either rely on laborious task-specific reward engineering, rigidly replay reference motions that fail to generalize, or depend on costly teleoperation that limits scalability. While human videos capture diverse human behaviors, motion priors inferred from them are inherently imperfect, suffering from occlusion, contact artifacts, and retargeting errors that render them unsuitable for direct policy learning. To address this, we present SUGAR, a scalable data-driven framework that converts diverse human videos into deployable humanoid loco-manipulation skills, without any task-specific reward engineering or reference-motion conditioning at inference. SUGAR proceeds in three stages. First, a fully automated pipeline extracts kinematic interaction priors including human-object motion trajectories and contact labels from unstructured human videos. Second, a privileged physics-based refiner uses a unified mimic reward and progressive state pool to transform imperfect priors into physically feasible, high-fidelity skills. Third, refined skills are distilled into a hierarchical autonomous policy consisting of a command generator and a command tracker. We evaluate SUGAR on six representative loco-manipulation tasks in simulation and real-world humanoid hardware. Our method substantially outperforms reference-tracking baselines, and performance scales clearly with the amount of human video data. It also achieves zero-shot real-world transfer with reliable closed-loop execution, autonomous failure recovery, and stable long-horizon performance under external perturbations. Project Page: https://tianshuwu.github.io/sugar-humanoid/
• Abstract（参考訳）: 現実の世界における全身のロボット操作を一般化できるヒューマノイドロボットの構築は、依然として根本的な課題である。 既存の手法は、厳格なタスク固有の報酬工学に依存し、一般化に失敗した参照動作を厳格にリプレイするか、スケーラビリティを制限するコストのかかる遠隔操作に依存している。 人間のビデオは多様な人間の行動を捉えているが、それらから推測される動きの先入観は本質的に不完全であり、閉塞、接触した人工物、そして直接の政策学習には適さないエラーの再ターゲティングに苦しむ。 これを解決するために、SUGARはスケーラブルなデータ駆動型フレームワークで、多様な人間の動画を、タスク固有の報酬工学や推論時の参照動作条件を使わずに、展開可能なヒューマノイドのロコ操作スキルに変換する。 SUGARは3段階で進行する。 まず、完全に自動化されたパイプラインは、人間の物体の動き軌跡や、非構造的な人間のビデオから接触ラベルを含むキネティックな相互作用を抽出する。 第二に、特権を持つ物理学ベースの精錬機は、統一された模倣報酬とプログレッシブステートプールを使用して、不完全な先行を物理的に実現可能な高忠実なスキルに変換する。 第3に、洗練された技術は、コマンドジェネレータとコマンドトラッカーからなる階層的な自律ポリシーに蒸留される。 シミュレーションと実世界のヒューマノイドハードウェアにおいて,SUGARを6つの代表的ロコ操作タスクで評価する。 提案手法は基準追従ベースラインを大幅に上回り,人間の映像データ量で明らかにスケールする。 また、信頼性の高いクローズドループ実行、自律的障害回復、および外部の摂動下での安定したロングホライゾン性能により、ゼロショットの現実世界転送も実現している。 Project Page: https://tianshuwu.github.io/sugar- Humanoid/

関連論文リスト

• JoyAI-RA 0.5: Scaling Robot Manipulation Learning via Dual Action Alignment [0.0]
  本研究では,物理世界力学と視覚的意味論を結びつけるフレームワークであるJoyAI-RA 0.5を提案する。 インシシットアクションアライメントは、視覚的な遷移から潜在アクションを推論し、アクションフリーな人間、シミュレーション、ロボットデータを可能にする。 JoyAI-RAは、実際のAgiBotベンチマークで見られるタスクと見えないバリエーションの両方に強く依存する。
  論文  参考訳（メタデータ） (2026-08-06T07:14:55Z)
• RoboReact: Agentic Skill Distillation from Generated Egocentric Videos for Generalizable Whole-Body Manipulation [18.992624318431417]
  本稿では,1つの自我中心のRGB-D観測から全身のヒューマノイド操作スキルを自動的に合成するフレームワークであるRoboReactを紹介する。 RoboReactは人間の操作ビデオを生成し、深度対応の3D再構成を通じて幾何学的相互作用を抽出し、手動物体の相互作用を保ちながら、それらを高DoFのヒューマノイドプラットフォームに再ターゲットする。 実際のヒューマノイドロボットの実験では、RoboReactはさまざまなオブジェクト構成をまたがって一般化し、遠隔操作や人間によるデモンストレーションを必要とせず、実行障害から堅牢に回復する。
  論文  参考訳（メタデータ） (2026-08-04T09:37:06Z)
• Human-as-Humanoid: Enabling Zero-Shot Humanoid Learning from Ego-Exo Human Videos with Human-Aligned Embodiments [32.61025334275917]
  ヒト・アス・ヒューマノイド(Humanoid as-Humanoid)は、ヒトからヒトへのハイDoFヒューマノイドの監視フレームワークである。 大規模な人間のデモンストレーションを、対象のヒューマノイドに対する実行可能な観察-アクション監視に変換する。 Humanoidは、データ収集分析において、ヒューマノイド遠隔操作よりも4.8--7.2倍の生のデモンストレーション言語ゲインが得られる。
  論文  参考訳（メタデータ） (2026-06-30T17:44:16Z)
• $Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation [39.811210435945924]
  本稿では,ヒューマノイドのロコ操作課題に対処するオープン基盤モデルを提案する。 我々の研究は、重要だが見落とされがちなデータレシピを特定します。 高品質な人間操作データに対する事前トレーニングと、ドメイン固有の実世界のヒューマノイド軌道のポストトレーニングにより、優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-03-12T17:59:51Z)
• ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video [52.78703020909145]
  我々は、人間中心のビデオから直接、自然なヒューマノイドビジュモータ制御ポリシーを学ぶ新しいフレームワークであるZeroWBCを紹介した。 提案手法はまず視覚言語モデル(VLM)を微調整し,テキスト命令とエゴセントリックな視覚コンテキストに基づく将来の身体全体の動作を予測する。 ユニツリーG1ヒューマノイドロボットの実験では,動作の自然性と汎用性において,本手法がベースラインアプローチより優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-10T04:19:43Z)
• EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration [67.13034606664333]
  EgoHumanoidは、エゴセントリックな人間のデモを使って視覚言語アクションポリシーを共同訓練する最初のフレームワークである。 スケーラブルな人的データ収集のためのポータブルシステムを開発した。
  論文  参考訳（メタデータ） (2026-02-10T18:59:03Z)
• DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos [56.64773686434068]
  DexImitは、人間の操作映像を物理的に妥当なロボットデータに変換する自動フレームワークである。 DexImitは、インターネットまたはビデオ生成モデルから、人間のビデオに基づいて大規模なロボットデータを生成することができる。 ツールの使用、長距離タスク、きめ細かい操作を含む多様な操作タスクを処理できる。
  論文  参考訳（メタデータ） (2026-02-10T18:59:02Z)
• HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos [74.43500240121476]
  我々はHumanXについて紹介する。HumanXは人間の動画を、ヒューマノイドのための汎用的で現実的なインタラクションスキルにコンパイルするフルスタックのフレームワークである。 HumanXは、従来の方法より8倍高い一般化成功を達成する。
  論文  参考訳（メタデータ） (2026-02-02T18:53:01Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning [59.64325421657381]
  ヒューマノイド全体のロコ操作は、日々のサービスや倉庫のタスクにトランスフォーメーション機能を約束する。 ResMimicは、人間の動作データから正確に表現力のあるヒューマノイド制御のための2段階の残差学習フレームワークである。 結果は、強いベースラインよりもタスク成功、トレーニング効率、堅牢性が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-10-06T17:47:02Z)
• Learning a Universal Human Prior for Dexterous Manipulation from Human Preference [35.54663426598218]
  本稿では,ビデオ上での人間の嗜好を直接フィードバックすることで,人類の普遍性を学習するフレームワークを提案する。 多様な警察を反復的に生成し、軌道上の人間の嗜好を収集することにより、タスクに依存しない報酬モデルを訓練する。 提案手法は,ロボットの手の動作を,目に見えないタスクを含む多様なタスクで実証的に示す。
  論文  参考訳（メタデータ） (2023-04-10T14:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。