論文の概要: HyperMotion: DiT-Based Pose-Guided Human Image Animation of Complex Motions

• arxiv url: http://arxiv.org/abs/2505.22977v1
• Date: Thu, 29 May 2025 01:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.607361
• Title: HyperMotion: DiT-Based Pose-Guided Human Image Animation of Complex Motions
• Title（参考訳）: HyperMotion: 複雑な動きのDiTによるポーズガイドによる人体画像アニメーション
• Authors: Shuolin Xu, Siming Zheng, Ziyi Wang, HC Yu, Jinwei Chen, Huaqi Zhang, Bo Li, Peng-Tao Jiang,
• Abstract要約: 我々はtextbfOpen-HyperMotionX データセットと textbfHyperMotionX Bench を導入する。 また、簡易だが強力なDiTベースのビデオ生成ベースラインを提案し、空間的低周波化 RoPE を設計する。 本手法は,高ダイナミックな人間の動作シーケンスにおける構造安定性と外観の整合性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 12.46263584777151
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion models have significantly improved conditional video generation, particularly in the pose-guided human image animation task. Although existing methods are capable of generating high-fidelity and time-consistent animation sequences in regular motions and static scenes, there are still obvious limitations when facing complex human body motions (Hypermotion) that contain highly dynamic, non-standard motions, and the lack of a high-quality benchmark for evaluation of complex human motion animations. To address this challenge, we introduce the \textbf{Open-HyperMotionX Dataset} and \textbf{HyperMotionX Bench}, which provide high-quality human pose annotations and curated video clips for evaluating and improving pose-guided human image animation models under complex human motion conditions. Furthermore, we propose a simple yet powerful DiT-based video generation baseline and design spatial low-frequency enhanced RoPE, a novel module that selectively enhances low-frequency spatial feature modeling by introducing learnable frequency scaling. Our method significantly improves structural stability and appearance consistency in highly dynamic human motion sequences. Extensive experiments demonstrate the effectiveness of our dataset and proposed approach in advancing the generation quality of complex human motion image animations. Code and dataset will be made publicly available.
• Abstract（参考訳）: 拡散モデルの最近の進歩は条件付きビデオ生成を著しく改善し、特にポーズ誘導された人間の画像アニメーションタスクにおいてである。 既存の手法では、通常の動きや静的なシーンにおいて高忠実かつ時間一貫性のアニメーションシーケンスを生成することができるが、高ダイナミックで非標準的な動きを含む複雑な人体の動き(Hypermotion)に直面する場合や、複雑な人体アニメーションを評価するための高品質なベンチマークが欠如している場合には、依然として明らかな制限がある。 この課題に対処するために、複雑な人間の動作条件下でのポーズ誘導人像アニメーションモデルの評価と改善のために、高品質なヒューマンポーズアノテーションとキュレートされたビデオクリップを提供する、 \textbf{Open-HyperMotionX Dataset} と \textbf{HyperMotionX Bench} を導入する。 さらに, 学習可能な周波数スケーリングを導入することで, 低周波空間特徴モデリングを選択的に強化する新しいモジュールである空間低周波拡張RoPEを提案する。 本手法は,高ダイナミックな人間の動作シーケンスにおける構造安定性と外観の整合性を大幅に向上させる。 大規模な実験により、複雑な人間の動き画像アニメーションの生成品質を向上させるためのデータセットの有効性と提案手法が実証された。 コードとデータセットが公開されている。

関連論文リスト

• EvAnimate: Event-conditioned Image-to-Video Generation for Human Animation [58.41979933166173]
  EvAnimateは、条件付き人間の画像アニメーションにおいて、イベントストリームを堅牢で正確なモーションキューとして活用する最初の方法である。 高品質で時間的コヒーレントなアニメーションはデュアルブランチアーキテクチャによって実現される。 実験結果から,従来の映像由来のキューが短いシナリオにおいて,EvAnimateは時間的忠実度が高く,頑健なパフォーマンスを実現することが示された。
  論文  参考訳（メタデータ） (2025-03-24T11:05:41Z)
• X-Dyna: Expressive Dynamic Human Image Animation [49.896933584815926]
  X-Dynaは、単一の人間のイメージをアニメーションするための、ゼロショットで拡散ベースのパイプラインである。 対象と周辺環境の両方に対して現実的でコンテキスト対応のダイナミクスを生成する。
  論文  参考訳（メタデータ） (2025-01-17T08:10:53Z)
• Dance In the Wild: Monocular Human Animation with Neural Dynamic Appearance Synthesis [56.550999933048075]
  そこで本研究では,課題に対処し,高品質な映像合成手法を提案する。 動的外見変化を捉えるために発電機重量を変調するために用いられる新しい動きシグネチャを導入する。 提案手法を課題ビデオの集合上で評価し,その手法が質的かつ定量的に最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-11-10T20:18:57Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。