論文の概要: ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

• arxiv url: http://arxiv.org/abs/2610.32966v1
• Date: Fri, 23 Oct 2026 17:54:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.628403
• Title: ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback
• Title（参考訳）: ViT-H:モーショントラッキングフィードバックを用いたビデオ・トゥ・ヒューマノイド制御
• Abstract要約: ViT-Hはビデオからヒューマノイドの参照モーションを直接生成するビデオからヒューマノイドの制御フレームワークである。 動作品質と実行性の両方において、ViT-Hは最先端の再構築・再ターゲット追跡パイプラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 30.054369212518466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning humanoid control from monocular human videos offers a scalable way to acquire diverse whole-body behaviors. Yet, existing reconstruction-retargeting-tracking pipelines are limited in system-level scalability by separately optimized intermediate stages and cannot directly optimize reference motion executability using downstream tracking feedback. We present ViT-H, a video-to-humanoid control framework following a generation-and-tracking paradigm. ViT-H directly generates humanoid reference motions from videos with a diffusion model, bypassing human motion reconstruction and retargeting, and uses motion-tracking outcomes to post-train the generator with direct preference optimization. We further introduce an autoregressive variant that enables real-time humanoid video teleoperation with sub-400 ms latency. Extensive experiments on the Unitree G1 demonstrate that ViT-H outperforms state-of-the-art reconstruction-retargeting-tracking pipelines in both motion quality and executability. We further show that ViT-H scales favorably with model size and with both pre-training and post-training data scale, while motion-tracking feedback consistently improves executability across different motion trackers.
• Abstract（参考訳）: モノクルな人間のビデオからヒューマノイドの制御を学ぶことは、多様な全身的行動を取得するためのスケーラブルな方法を提供する。 しかし,既存のリコンストラクション・リターゲティング・トラッキングパイプラインは,個別に最適化された中間段階によってシステムレベルのスケーラビリティに制限があり,下流追従フィードバックを用いて参照動作実行性を直接最適化することはできない。 生成と追跡のパラダイムに従うビデオからヒューマノイド制御フレームワークであるViT-Hを提案する。 ViT-Hは、拡散モデルを用いてビデオから直接ヒューマノイド参照運動を生成し、人間の動きの再構成と再ターゲティングをバイパスし、モーショントラッキング結果を使用して、直接優先最適化でジェネレータを訓練する。 さらに,400ms未満のレイテンシでリアルタイムなヒューマノイドビデオ遠隔操作を可能にする自動回帰式を導入する。 ユニツリーG1の大規模な実験により、ViT-Hは動作品質と実行可能性の両方で最先端の再構築・再ターゲット追跡パイプラインより優れていることが示された。 さらに、VT-Hはモデルサイズと事前学習と後学習の両方のデータスケールに好適にスケールし、モーショントラッキングフィードバックは、異なるモーショントラッカー間の実行性を一貫して改善することを示した。

関連論文リスト

• Fast Motion Retargeting Pipeline for Scalable Humanoid Robot Learning [8.017186118280366]
  既存のキノダイナミック軌道最適化パイプラインは計算コストが高く、運動ごとに手動で調整する必要があることが多い。 本稿では,FRDV(Fast Retargeting with Dynamics Validation)について述べる。 そのキネマティックステージはシークエンシャル・クアドラティック・プログラミング、リアルタイム・イット、チャンクベースの処理を統合し、最大9,156フレーム/秒を実現し、GMRやProtoMotionの約136倍高速である。
  論文  参考訳（メタデータ） (2026-10-20T16:22:00Z)
• Direct Dynamic Retargeting for Humanoid Imitation Learning from Videos [6.238518905285812]
  単眼ビデオデモからの模倣学習は、ヒューマノイドロボットに複雑なスキルを教えるためのスケーラブルなアプローチを提供する。 本稿では,エキスパートビデオから直接高忠実で動的に実現可能な軌道を生成する新しい単一ステージフレームワークであるDirect Dynamic Retargeting (DDR)を提案する。 我々の実験は、幾何学的バイアスをバイパスすることで、DDRはデモ追跡精度において最先端のベースラインを上回ることを実証した。
  論文  参考訳（メタデータ） (2026-05-22T15:33:40Z)
• SPARK: Skeleton-Parameter Aligned Retargeting on Humanoid Robots with Kinodynamic Trajectory Optimization [9.553570391005257]
  人間の動きは、汎用的なヒューマノイド制御ポリシーを訓練するための豊富な事前情報を提供するが、生のデモンストレーションはロボットの運動学や力学と相容れないことが多い。 タスク空間の人的データから自然および動的に実行可能な動作参照を生成するための2段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T03:03:14Z)
• TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning [79.59753528758361]
  両足のVLAを促進するために、豊富な車輪付きヒューマノイドデータを活用するクロス・エボディメント・フレームワークであるTrajBoosterを提案する。 私たちのキーとなる考え方は、形態素に依存しないインターフェースとして、エンドエフェクタ・トラジェクトリを使用することです。 以上の結果から,TrajBoosterは既存の車輪付きヒューマノイドデータにより,二足歩行ヒューマノイドVLAの性能を効率的に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2025-09-15T12:25:39Z)
• Diffusion Model-based Activity Completion for AI Motion Capture from Videos [2.9271399793140076]
  現在のAIモーションキャプチャ法は、従来のモーションキャプチャと同様、観察されたビデオシーケンスに完全に依存している。 本稿では,人間の動作系列を相補的に生成する拡散モデルに基づく動作完了手法を提案する。 ゲートモジュールと位置時間埋め込みモジュールを導入することで,Human3.6Mデータセット上での競合的な結果が得られる。
  論文  参考訳（メタデータ） (2025-05-27T05:04:50Z)
• GENMO: A GENeralist Model for Human MOtion [64.16188966024542]
  本稿では,1つのフレームワークで動作推定と生成を橋渡しする汎用人体運動モデル GENMO を提案する。 我々の重要な洞察は、出力運動が観測された条件信号を正確に満たさなければならないような制約された動き生成として運動推定を再構成することである。 我々の新しいアーキテクチャは、可変長動きと混合マルチモーダル条件(テキスト、オーディオ、ビデオ)を異なる時間間隔で処理し、柔軟な制御を提供する。
  論文  参考訳（メタデータ） (2025-05-02T17:59:55Z)
• EfficientMT: Efficient Temporal Adaptation for Motion Transfer in Text-to-Video Diffusion Models [73.96414072072048]
  既存の動き伝達法は、ガイド生成のための参照ビデオの動作表現を探索した。 本稿では,ビデオモーション転送のための新しい,効率的なエンドツーエンドフレームワークであるEfficientMTを提案する。 我々の実験は, フレキシブルな動作制御性を維持しつつ, 既存の手法よりも効率が良いことを示した。
  論文  参考訳（メタデータ） (2025-03-25T05:51:14Z)
• BoDiffusion: Diffusing Sparse Observations for Full-Body Human Motion Synthesis [14.331548412833513]
  複合現実感アプリケーションは、没入感のある体験を可能にするために、ユーザのフルボディの動きを追跡する必要がある。 本稿では,この非拘束的再構成問題に対処するために,運動合成のための生成拡散モデルであるBoDiffusionを提案する。 本稿では,スムーズで現実的なフルボディモーションシーケンスを生成しつつ,スパーストラッキング入力をBoDiffusionが活用できる時間空間調和方式を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:39:05Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。