論文の概要: MotionDreamer: Zero-Shot 3D Mesh Animation from Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.20155v1
• Date: Thu, 30 May 2024 15:30:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 13:48:54.944722
• Title: MotionDreamer: Zero-Shot 3D Mesh Animation from Video Diffusion Models
• Title（参考訳）: MotionDreamer:ビデオ拡散モデルによるゼロショット3Dメッシュアニメーション
• Authors: Lukas Uzolas, Elmar Eisemann, Petr Kellnhofer,
• Abstract要約: ビデオ拡散モデルから抽出された動きに基づいて,任意の3次元形状を自動アニメーションする手法を提案する。 既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。 我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
• 参考スコア（独自算出の注目度）: 10.263762787854862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Animation techniques bring digital 3D worlds and characters to life. However, manual animation is tedious and automated techniques are often specialized to narrow shape classes. In our work, we propose a technique for automatic re-animation of arbitrary 3D shapes based on a motion prior extracted from a video diffusion model. Unlike existing 4D generation methods, we focus solely on the motion, and we leverage an explicit mesh-based representation compatible with existing computer-graphics pipelines. Furthermore, our utilization of diffusion features enhances accuracy of our motion fitting. We analyze efficacy of these features for animation fitting and we experimentally validate our approach for two different diffusion models and four animation models. Finally, we demonstrate that our time-efficient zero-shot method achieves a superior performance re-animating a diverse set of 3D shapes when compared to existing techniques in a user study. The project website is located at https://lukas.uzolas.com/MotionDreamer.
• Abstract（参考訳）: アニメーション技術はデジタル3Dの世界とキャラクターを生き返らせる。 しかし、手動アニメーションは面倒で、自動化技術は狭い形状のクラスに特化していることが多い。 本研究では,ビデオ拡散モデルから抽出した動きに基づいて,任意の3次元形状を自動アニメーションする手法を提案する。 既存の4D生成方法とは異なり、動作のみに集中し、既存のコンピュータグラフィックスパイプラインと互換性のある明示的なメッシュベースの表現を活用する。 さらに, 拡散特性の有効利用により, 運動適合の精度が向上する。 アニメーションフィッティングにおけるこれらの特徴の有効性を解析し、2つの異なる拡散モデルと4つのアニメーションモデルに対するアプローチを実験的に検証する。 最後に, 時間効率のゼロショット法は, ユーザスタディにおける既存手法と比較して, 多様な3次元形状の集合を再アニメーションする上で, 優れた性能を達成できることを実証した。 プロジェクトのWebサイトはhttps://lukas.uzolas.com/MotionDreamerにある。

関連論文リスト

• Tex4D: Zero-shot 4D Scene Texturing with Video Diffusion Models [54.35214051961381]
  3Dメッシュはコンピュータビジョンとグラフィックスにおいて、アニメーションの効率と映画、ゲーム、AR、VRにおける最小限のメモリ使用のために広く利用されている。 しかし、メッシュのための時間的一貫性と現実的なテクスチャを作成することは、プロのアーティストにとって労働集約的だ。 本稿では、メッシュ配列から固有の幾何学とビデオ拡散モデルを統合することで、一貫したテクスチャを生成する3Dテクスチャシーケンスを提案する。
  論文  参考訳（メタデータ） (2024-10-14T17:59:59Z)
• Animate3D: Animating Any 3D Model with Multi-view Video Diffusion [47.05131487114018]
  Animate3Dは静的な3Dモデルをアニメーションするための新しいフレームワークである。 本研究では,3Dオブジェクトのアニメーション化に多視点ビデオ拡散プリミティブを活用するために,再構成と4Dスコア蒸留サンプリング(4D-SDS)を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T05:35:57Z)
• iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
  モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-07-15T18:51:51Z)
• DreamPhysics: Learning Physical Properties of Dynamic 3D Gaussians with Video Diffusion Priors [75.83647027123119]
  本稿では,映像拡散前の物体の物理的特性を学習することを提案する。 次に,物理に基づくMaterial-Point-Methodシミュレータを用いて,現実的な動きを伴う4Dコンテンツを生成する。
  論文  参考訳（メタデータ） (2024-06-03T16:05:25Z)
• Generative Rendering: Controllable 4D-Guided Video Generation with 2D Diffusion Models [40.71940056121056]
  本稿では,動的3次元メッシュの制御可能性と,新しい拡散モデルの表現性と編集性を組み合わせた新しいアプローチを提案する。 本手法は,トリグアセットのアニメーションやカメラパスの変更によって,動きを得られる様々な例について実証する。
  論文  参考訳（メタデータ） (2023-12-03T14:17:11Z)
• Animate124: Animating One Image to 4D Dynamic Scene [108.17635645216214]
  Animate124は、テキストによる動作記述を通じて、単一のWildイメージを3Dビデオにアニメーションする最初の作品である。 提案手法は,既存のベースラインよりも大幅に進歩したことを示す。
  論文  参考訳（メタデータ） (2023-11-24T16:47:05Z)
• MAS: Multi-view Ancestral Sampling for 3D motion generation using 2D diffusion [57.90404618420159]
  本稿では3次元モーション生成手法であるマルチビューアンセストラルサンプリング(MAS)を紹介する。 MASは、同じ3Dモーションの異なるビューを表す複数の2Dモーションシーケンスを同時に認知することで機能する。 プロバスケットボールの操り方を描いたビデオから得られた2DポーズデータをMASで実証する。
  論文  参考訳（メタデータ） (2023-10-23T09:05:18Z)
• Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space [38.940128217895115]
  本稿では,顔の動きを終末的にキャプチャーと組み合わせたVersatile Face Animatorを提案する。 1) 階層的な動き辞書を用いて生のRGBDビデオから顔の動きを学習し, 任意の3D文字で表情をアニメーションできるRGBDアニメーションモジュールを提案する。 総合的な実験により,提案手法が印象的な3次元顔画像生成に有効であることを実証した。
  論文  参考訳（メタデータ） (2023-08-11T11:29:01Z)
• AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning [92.33690050667475]
  AnimateDiffは、モデル固有のチューニングを必要とせずに、パーソナライズされたT2Iモデルをアニメーションするためのフレームワークである。 我々は,AnimateDiffの軽量微調整技術であるMotionLoRAを提案する。 その結果,これらのモデルが視覚的品質と動きの多様性を保ちながら,時間的にスムーズなアニメーションクリップを生成するのに有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-07-10T17:34:16Z)
• ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections [71.46546520120162]
  単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。 本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。 我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
  論文  参考訳（メタデータ） (2023-06-07T17:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。