論文の概要: Spatiotemporally Decoupled Autoregressive Diffusion Model for Human Motion Generation
- arxiv url: http://arxiv.org/abs/2608.23279v1
- Date: Mon, 24 Aug 2026 14:04:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.126786
- Title: Spatiotemporally Decoupled Autoregressive Diffusion Model for Human Motion Generation
- Title（参考訳）: ヒト運動生成のための時空間分離自己回帰拡散モデル
- Abstract要約: 動作表現とアーキテクチャを再設計するために,DeMoDiff という統合時間分離フレームワークを提案する。
我々のフレームワークは、最先端の復元性能と魅力的な動き生成結果を達成する。
- 参考スコア（独自算出の注目度）: 19.887078319028102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-driven human motion synthesis has made substantial development with two core modules of motion representation and generative architecture. For representation, Vector Quantization (VQ)-based methods compress motion data into discrete tokens while latent-based models operate directly in continuous space. However, both of these representations exhibit significant limitations. VQ-based methods suffer from inherent information loss, which compromises the quality, diversity, and generalization of generated motions, while continuous representation on holistic whole-body motion hinders part-level flexibility. For architecture, diffusion and autoregressive diffusion models have demonstrated their superiority, yet the fine-grained controllability over individual body parts is also limited. Thus, we propose a unified spatiotemporally decoupled framework named DeMoDiff, which jointly redesigns representation and architecture. To enhance representation extraction capabilities and offer greater part-level controllability, we present a spatial-temporal VAE that encodes each body joint rather than compressing the whole-body motion into a single latent space. Then, we incorporate spatial-temporal masking and attention mechanisms into an autoregressive diffusion generator, achieving both generative capability and controllable editability. Extensive experiments on the HumanML3D and KIT-ML datasets demonstrate that our model achieves state-of-the-art reconstruction performance and compelling motion generation results. Moreover, our framework demonstrates strong temporal and spatial editing capabilities, further validating its effectiveness. Our project page: https://rex0191.github.io/DeMoDiff/
- Abstract（参考訳）: テキスト駆動型ヒューマンモーション合成は、モーション表現と生成アーキテクチャの2つのコアモジュールで大幅に発展してきた。
表現のために、ベクトル量子化(VQ)ベースの手法は、動きデータを離散トークンに圧縮し、潜在ベースモデルは連続空間で直接動作する。
しかし、これら2つの表現は大きな制限を呈している。
VQベースの手法は、生成した動きの品質、多様性、一般化を損なう固有の情報損失に悩まされる一方、全体体の動きの連続表現は、部分レベルの柔軟性を妨げている。
アーキテクチャでは拡散と自己回帰拡散モデルがその優位性を示したが、個々の部位に対するきめ細かい制御性も制限されている。
そこで我々はDeMoDiffという時空間分離フレームワークを提案し,表現とアーキテクチャを共同で再設計する。
表現抽出能力の向上と部分レベル制御性の向上を目的として,全体の動きを1つの潜在空間に圧縮するのではなく,各体の関節を符号化する空間時空間VAEを提案する。
そして,空間的マスキングとアテンション機構を自己回帰拡散生成器に組み込み,生成能力と編集性の両方を達成する。
HumanML3DとKIT-MLデータセットの大規模な実験により、我々のモデルは最先端の再構築性能と魅力的な動き生成結果を達成することを示した。
さらに,このフレームワークは時間的・空間的な編集能力を強く発揮し,その有効性を検証している。
プロジェクトページ:https://rex0191.github.io/DeMoDiff/
関連論文リスト
- DC-Motion: Decoupling Semantics and Details via Discrete-Continuous Tokens for Human Motion Generation [11.57444637723047]
我々はDC-Motionを紹介した。DC-Motionは、離散連続トークンを通して意味と詳細を明確に分離するために設計された、分解された生成フレームワークである。
マスク付きARモデルはテキストから離散構造を予測し、軽量な残留拡散モデルは連続的な物理的詳細を回復する。
HumanML3DとKIT-MLデータセットの両方で、DC-Motionは最先端のパフォーマンスを実現し、モーションリアリズムのための最高のFIDとテキストアライメントのためのR精度を提供する。
論文 参考訳（メタデータ） (2026-05-28T11:47:11Z) - HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching [113.81911881001905]
HO-Flowはテキストと正準3Dオブジェクトから現実的な手動動作シーケンスを合成するためのフレームワークである。
まず、手動と物体の動きのシーケンスを統一された潜在多様体に符号化するために、相互作用を意識した変分オートエンコーダを用いる。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせたマスク付きフローマッチングモデルを利用する。
論文 参考訳（メタデータ） (2026-04-12T22:06:11Z) - TriC-Motion: Tri-Domain Causal Modeling Grounded Text-to-Motion Generation [61.94780858309546]
Tri-Domain Causal Text-to-Motion Generation (TriC-Motion)は、空間ドメインモデリングと因果介入を統合した新しい拡散ベースのフレームワークである。
TriC-Motionは、HumanML3Dデータセット上で0.612の優れたR@1を達成することによって、最先端の手法よりも優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-09T10:12:13Z) - UniMo: Unifying 2D Video and 3D Human Motion with an Autoregressive Framework [54.337290937468175]
統合された枠組み内での2次元映像と3次元映像の協調モデリングのための自己回帰モデルUniMoを提案する。
本手法は,正確なモーションキャプチャを行いながら,対応する映像と動きを同時に生成することを示す。
論文 参考訳（メタデータ） (2025-12-03T16:03:18Z) - MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing [53.98607267063729]
MotionVerseは、シングルパーソンとマルチパーソンの両方のシナリオで人間の動作を理解し、生成し、編集するフレームワークである。
我々は、連続的な動き列をマルチストリーム離散トークンに変換する残差量子化を伴う動きトークン化器を用いる。
また、残留トークンストリームの符号化を時間的に停滞させる textitDelay Parallel Modeling 戦略も導入する。
論文 参考訳（メタデータ） (2025-09-28T04:20:56Z) - Towards Robust and Controllable Text-to-Motion via Masked Autoregressive Diffusion [33.9786226622757]
テキスト記述から3次元動作を生成するための頑健な動き生成フレームワークMoMADiffを提案する。
我々のモデルはフレキシブルなユーザ提供仕様をサポートし、動き合成の空間的側面と時間的側面の両方を正確に制御できる。
提案手法は, 動作品質, 命令忠実度, 定着度において, 常に最先端のモデルより優れる。
論文 参考訳（メタデータ） (2025-05-16T09:06:15Z) - FreSca: Scaling in Frequency Space Enhances Diffusion Models [55.75504192166779]
本稿では,潜時拡散モデルにおける周波数制御について検討する。
本稿では,低周波成分と高周波成分にノイズ差を分解する新しいフレームワークFreScaを紹介する。
FreScaはモデルの再トレーニングやアーキテクチャの変更なしに動作し、モデルとタスクに依存しない制御を提供する。
論文 参考訳（メタデータ） (2025-04-02T22:03:11Z) - Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling [10.914612535745789]
本稿では,MoCo-NeRF(MoCo-NeRF)について述べる。
MoCo-NeRFはモノクロビデオのフリービューポイントレンダリングを実現するために設計されたフレームワークである。
論文 参考訳（メタデータ） (2024-07-16T17:59:01Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。