論文の概要: DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds

• arxiv url: http://arxiv.org/abs/2505.24733v1
• Date: Fri, 30 May 2025 15:54:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.054793
• Title: DreamDance: Animating Character Art via Inpainting Stable Gaussian Worlds
• Title（参考訳）: DreamDance: 安定したガウス世界を通してキャラクターアートをアニメーション化
• Authors: Jiaxu Zhang, Xianfang Zeng, Xin Chen, Wei Zuo, Gang Yu, Guosheng Lin, Zhigang Tu,
• Abstract要約: ドリームダンス(DreamDance)は、安定的で一貫したキャラクタと、正確なカメラ軌跡を条件としたシーンの動きを生成できるアニメーションフレームワークである。 我々は、背景品質を高めつつ、動的キャラクタをシーンビデオに注入する、ポーズ対応ビデオ塗装モデルを訓練する。
• 参考スコア（独自算出の注目度）: 64.53681498600065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents DreamDance, a novel character art animation framework capable of producing stable, consistent character and scene motion conditioned on precise camera trajectories. To achieve this, we re-formulate the animation task as two inpainting-based steps: Camera-aware Scene Inpainting and Pose-aware Video Inpainting. The first step leverages a pre-trained image inpainting model to generate multi-view scene images from the reference art and optimizes a stable large-scale Gaussian field, which enables coarse background video rendering with camera trajectories. However, the rendered video is rough and only conveys scene motion. To resolve this, the second step trains a pose-aware video inpainting model that injects the dynamic character into the scene video while enhancing background quality. Specifically, this model is a DiT-based video generation model with a gating strategy that adaptively integrates the character's appearance and pose information into the base background video. Through extensive experiments, we demonstrate the effectiveness and generalizability of DreamDance, producing high-quality and consistent character animations with remarkable camera dynamics.
• Abstract（参考訳）: 本稿では,DreamDanceについて述べる。DreamDanceは,安定かつ一貫したキャラクタと,正確なカメラ軌道上でのシーン動作を再現できる,新しいキャラクターアートアニメーションフレームワークである。 これを実現するために、アニメーションタスクを、カメラ対応のScene InpaintingとPose-aware Video Inpaintingの2つのインパインティングベースのステップとして再フォーマットする。 最初のステップでは、事前学習された画像の塗装モデルを利用して、参照アートからマルチビューシーン画像を生成し、安定した大規模ガウス場を最適化し、カメラ軌跡による粗い背景映像レンダリングを可能にする。 しかし、レンダリングされたビデオは粗く、シーンの動きのみを伝達する。 これを解決するため、第2ステップでは、背景品質を高めつつ、動的キャラクタをシーンビデオに注入するポーズ対応ビデオ塗装モデルを訓練する。 具体的には、このモデルは、キャラクターの外観を適応的に統合し、ベースバックグラウンドビデオに情報を付加するゲーティング戦略を備えた、DiTベースのビデオ生成モデルである。 広範にわたる実験を通して,ドリームダンスの有効性と一般化性を実証し,優れたカメラダイナミックスを備えた高品質で一貫したキャラクターアニメーションを製作する。

関連論文リスト

• Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
  ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。 従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-28T16:01:58Z)
• Replace Anyone in Videos [82.37852750357331]
  ReplaceAnyoneフレームワークは、複雑な背景を特徴とする、局所的な人間の置換と挿入に焦点を当てたフレームワークである。 我々は,このタスクを,一貫したエンド・ツー・エンドビデオ拡散アーキテクチャを用いて,ポーズガイダンスを用いた画像条件付きビデオ塗装パラダイムとして定式化する。 提案されたReplaceAnyoneは従来の3D-UNetベースモデルだけでなく、Wan2.1のようなDiTベースのビデオモデルにもシームレスに適用できる。
  論文  参考訳（メタデータ） (2024-09-30T03:27:33Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning [92.33690050667475]
  AnimateDiffは、モデル固有のチューニングを必要とせずに、パーソナライズされたT2Iモデルをアニメーションするためのフレームワークである。 我々は,AnimateDiffの軽量微調整技術であるMotionLoRAを提案する。 その結果,これらのモデルが視覚的品質と動きの多様性を保ちながら,時間的にスムーズなアニメーションクリップを生成するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-07-10T17:34:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。