論文の概要: Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes

• arxiv url: http://arxiv.org/abs/2411.19233v1
• Date: Thu, 28 Nov 2024 16:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:03.531149
• Title: Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes
• Title（参考訳）: Gaussian-to-Life: 3D Gaussian Splatting Scenesのテキスト駆動アニメーション
• Authors: Thomas Wimmer, Michael Oechsle, Michael Niemeyer, Federico Tombari,
• Abstract要約: ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。 従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
• 参考スコア（独自算出の注目度）: 49.26872036160368
• License:
• Abstract: State-of-the-art novel view synthesis methods achieve impressive results for multi-view captures of static 3D scenes. However, the reconstructed scenes still lack "liveliness," a key component for creating engaging 3D experiences. Recently, novel video diffusion models generate realistic videos with complex motion and enable animations of 2D images, however they cannot naively be used to animate 3D scenes as they lack multi-view consistency. To breathe life into the static world, we propose Gaussians2Life, a method for animating parts of high-quality 3D scenes in a Gaussian Splatting representation. Our key idea is to leverage powerful video diffusion models as the generative component of our model and to combine these with a robust technique to lift 2D videos into meaningful 3D motion. We find that, in contrast to prior work, this enables realistic animations of complex, pre-existing 3D scenes and further enables the animation of a large variety of object classes, while related work is mostly focused on prior-based character animation, or single 3D objects. Our model enables the creation of consistent, immersive 3D experiences for arbitrary scenes.
• Abstract（参考訳）: 静的な3Dシーンのマルチビューキャプチャーにおいて、最先端の新規ビュー合成手法は印象的な結果が得られる。 しかし、再構築されたシーンには、魅力的な3D体験を作るための重要な要素である「可愛さ」がまだ欠けている。 近年,映像拡散モデルによって複雑な動きを伴うリアルな映像が生成され,2次元画像のアニメーションが実現されているが,多視点の整合性が欠如しているため,視覚的に3次元シーンをアニメーション化することは不可能である。 静的な空間に生命を吹き込むため,ガウス2Lifeという,高品質な3Dシーンの一部をガウススプラッティング表現でアニメーションする手法を提案する。 私たちのキーとなるアイデアは、強力なビデオ拡散モデルを我々のモデルの生成要素として活用し、2D動画を有意義な3Dモーションへと持ち上げるための堅牢な技術と組み合わせることです。 従来の作業とは対照的に,これは複雑で既存の3Dシーンのリアルなアニメーションを可能にし,さらに様々なオブジェクトクラスのアニメーションを可能にする。 我々のモデルは任意のシーンに対して一貫した没入型3D体験を作成できる。

関連論文リスト

• MIMO: Controllable Character Video Synthesis with Spatial Decomposed Modeling [21.1274747033854]
  キャラクタビデオ合成は、ライフライクなシーン内でアニマタブルなキャラクターのリアルなビデオを作成することを目的としている。 Miloは、文字ビデオを制御可能な属性で合成できる新しいフレームワークである。 Miloは、任意のキャラクタへの高度なスケーラビリティ、新しい3Dモーションへの一般化、インタラクティブな現実世界のシーンへの適用性を実現している。
  論文  参考訳（メタデータ） (2024-09-24T15:00:07Z)
• Sketch2Scene: Automatic Generation of Interactive 3D Game Scenes from User's Casual Sketches [50.51643519253066]
  3Dコンテンツ生成は、ビデオゲーム、映画制作、バーチャルおよび拡張現実など、多くのコンピュータグラフィックスアプリケーションの中心にある。 本稿では,インタラクティブでプレイ可能な3Dゲームシーンを自動的に生成するための,新しいディープラーニングベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-08T16:27:37Z)
• Real3D-Portrait: One-shot Realistic 3D Talking Portrait Synthesis [88.17520303867099]
  ワンショットの3Dトーキングポートレート生成は、目に見えない画像から3Dアバターを再構成し、参照ビデオやオーディオでアニメーション化する。 本稿では,大規模な画像-平面モデルを用いて,ワンショット3D再構成能力を向上させるフレームワークであるReal3D-Potraitを提案する。 実験の結果、Real3D-Portraitは目に見えない人物を一般化し、よりリアルなトーキング・ポートレート・ビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2024-01-16T17:04:30Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)
• Unsupervised Volumetric Animation [54.52012366520807]
  非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。 本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。 我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:54Z)
• Physically Plausible Animation of Human Upper Body from a Single Image [41.027391105867345]
  制御可能で動的に応答し,フォトリアリスティックな人間のアニメーションを生成する新しい方法を提案する。 本システムでは,画像空間におけるインタラクションを用いて,物理的に可視な上半身アニメーション(PUBA)を生成することができる。
  論文  参考訳（メタデータ） (2022-12-09T09:36:59Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)
• Unsupervised object-centric video generation and decomposition in 3D [36.08064849807464]
  本研究では,複数の3Dオブジェクトと3D背景を持つシーンを移動しながら映像を映像としてモデル化することを提案する。 我々のモデルは、監督なしに単眼ビデオから訓練されるが、複数の動く物体を含むコヒーレントな3Dシーンを生成することを学ぶ。
  論文  参考訳（メタデータ） (2020-07-07T18:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。