論文の概要: VideoMDM: Towards 3D Human Motion Generation From 2D Supervision
- arxiv url: http://arxiv.org/abs/2606.13364v1
- Date: Thu, 11 Jun 2026 13:49:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-12 15:55:27.829902
- Title: VideoMDM: Towards 3D Human Motion Generation From 2D Supervision
- Title（参考訳）: VideoMDM:2Dスーパービジョンから3Dモーション生成を目指す
- Authors: Amir Mann, Gal Michael Harari, Merav Keidar, Or Litany,
- Abstract要約: VideoMDMは、モノクロビデオから抽出された正確な2Dポーズから直接3Dの人間の動きを訓練するフレームワークである。
事前訓練された2D-to-3Dリフトは、ノイズの多い教師として機能する近似的な3Dポーズシーケンスを提供する。
軽微な仮定では、深度重み付けされた2次元再投射損失は、3次元の監督を期待する上で等価であることを示す。
- 参考スコア（独自算出の注目度）: 13.408796377211559
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce VideoMDM, a diffusion-based framework that trains 3D human motion priors directly from accurate 2D poses extracted from monocular videos, without any 3D ground truth. A pretrained 2D-to-3D lifter provides approximate 3D pose sequences that serve as a noisy teacher: these are diffused, denoised by the model in 3D, and supervised in 2D by reprojecting the prediction and comparing against accurate keypoints. We show that, under mild assumptions, a depth-weighted 2D reprojection loss is equivalent in expectation to direct 3D supervision, and we adapt standard 3D motion regularizers - velocity consistency and over-parameterized representation alignment - to this 2D setting. Unlike methods that lift 2D to 3D only at inference, VideoMDM learns a coherent 3D motion manifold during training. On HumanML3D it nearly closes the gap to fully 3D-supervised MDM (FID 0.88 vs 0.54); On real video datasets Fit3D and NBA the method learns to generate motions consistently preferred by humans, with strong quantitative results.
- Abstract（参考訳）: 我々は,モノクロ映像から抽出した正確な2Dポーズから直接,人間の3D動作を学習する拡散型フレームワークであるVideoMDMを紹介した。
事前訓練された2D-to-3Dリフトは、ノイズの多い教師として機能する近似した3Dポーズシーケンスを提供し、これらはモデルによって3Dで拡散され、予測を再投影し、正確なキーポイントと比較することによって2Dで監督される。
軽微な仮定の下では、3次元の直接監督が期待できる深度重み付き2次元再投射損失が同等であることを示し、この2次元設定に標準の3次元運動正規化器(速度整合性および過パラメータ化表現アライメント)を適用する。
推論時にのみ2Dから3Dに持ち上げる方法とは異なり、VideoMDMはトレーニング中にコヒーレントな3D運動多様体を学習する。
HumanML3Dでは、完全な3D教師付きMDM(FID 0.88 vs 0.54)とのギャップをほぼ埋める。
関連論文リスト
- Unsupervised 3D Human Pose Estimation via Conditional Multi-view Ancestral Sampling [13.79571134197704]
本研究では,1つの視点から3次元人間のポーズを3次元の監督なしに推定する方法を提案する。
大規模な2次元ポーズデータセットで事前学習した動き拡散モデルの2次元拡散先行モデルを利用する。
提案手法は,最先端の3次元ポーズ推定手法と比較して,ドメイン間性能が向上する。
論文 参考訳（メタデータ） (2026-05-15T03:47:04Z) - Free3D: 3D Human Motion Emerges from Single-View 2D Supervision [24.238045609839983]
Free3Dは、3Dモーションアノテーションなしでリアルな3Dモーションを合成するフレームワークである。
完全に2Dモーションデータに基づいて訓練されたFree3Dは、多様で時間的に一貫性があり、意味的に整合した3Dモーションを生成する。
論文 参考訳（メタデータ） (2025-11-14T14:49:19Z) - Unifying 2D and 3D Vision-Language Understanding [85.84054120018625]
2次元および3次元視覚言語学習のための統一アーキテクチャUniVLGを紹介する。
UniVLGは、既存の2D中心モデルと、エンボディシステムで利用可能なリッチな3Dセンサーデータのギャップを埋める。
論文 参考訳（メタデータ） (2025-03-13T17:56:22Z) - A Lesson in Splats: Teacher-Guided Diffusion for 3D Gaussian Splats Generation with 2D Supervision [65.33043028101471]
本稿では,2次元監視のみを用いた3次元画像調和拡散モデルの学習フレームワークを提案する。
既存の3D生成モデルは、大規模な3Dデータセットが不足しているため、完全に3Dの監視に依存している。
論文 参考訳（メタデータ） (2024-12-01T00:29:57Z) - 2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation? [5.408549711581793]
本研究では,2次元もしくは3次元の関節座標を訓練データとして用いることが,音声から身近な深層生成モデルの性能に及ぼす影響について検討した。
生成した2Dポーズシーケンスを3Dに変換するためのリフトモデルを用いて,2Dで生成したジェスチャと3Dで生成したジェスチャを直接3Dスタックで生成し,次に3Dに変換する方法を評価する。
論文 参考訳（メタデータ） (2024-09-16T15:06:12Z) - EmbodiedSAM: Online Segment Any 3D Thing in Real Time [61.2321497708998]
身体的なタスクは、エージェントが探索と同時に3Dシーンを完全に理解する必要がある。
オンライン、リアルタイム、微粒化、高度に一般化された3D知覚モデルは、必死に必要である。
論文 参考訳（メタデータ） (2024-08-21T17:57:06Z) - M3D-VTON: A Monocular-to-3D Virtual Try-On Network [62.77413639627565]
既存の3D仮想試行法は主に注釈付き3D人体形状と衣服テンプレートに依存している。
本稿では,2次元と3次元の両方のアプローチの利点を生かした,モノクロから3次元仮想トライオンネットワーク(M3D-VTON)を提案する。
論文 参考訳（メタデータ） (2021-08-11T10:05:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。