論文の概要: BAGS: Building Animatable Gaussian Splatting from a Monocular Video with Diffusion Priors

• arxiv url: http://arxiv.org/abs/2403.11427v1
• Date: Mon, 18 Mar 2024 02:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 16:57:28.318642
• Title: BAGS: Building Animatable Gaussian Splatting from a Monocular Video with Diffusion Priors
• Title（参考訳）: BAGS:拡散優先の単眼ビデオからアニマタブルなガウススティングを作る
• Authors: Tingyang Zhang, Qingzhe Gao, Weiyu Li, Libin Liu, Baoquan Chen,
• Abstract要約: 拡散前の単眼ビデオからアニマタブルな3次元ガウススプラッティングを構築する手法を提案する。 3Dガウス表現はトレーニングとレンダリングのプロセスを大幅に加速し、拡散先行法により、限られた視点で3Dモデルを学習することができる。 我々は、様々な実世界のビデオに対して広範囲に評価を行い、現在の最先端手法と比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 28.033944084753035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Animatable 3D reconstruction has significant applications across various fields, primarily relying on artists' handcraft creation. Recently, some studies have successfully constructed animatable 3D models from monocular videos. However, these approaches require sufficient view coverage of the object within the input video and typically necessitate significant time and computational costs for training and rendering. This limitation restricts the practical applications. In this work, we propose a method to build animatable 3D Gaussian Splatting from monocular video with diffusion priors. The 3D Gaussian representations significantly accelerate the training and rendering process, and the diffusion priors allow the method to learn 3D models with limited viewpoints. We also present the rigid regularization to enhance the utilization of the priors. We perform an extensive evaluation across various real-world videos, demonstrating its superior performance compared to the current state-of-the-art methods.
• Abstract（参考訳）: アニマタブルな3D再構成は様々な分野において重要な応用であり、主に芸術家の手工芸に頼っている。 近年,モノクロビデオからアニマタブルな3Dモデルの構築に成功した研究もある。 しかしながら、これらのアプローチでは、入力ビデオ内のオブジェクトの十分なビューカバレッジを必要とし、通常、トレーニングとレンダリングにかなりの時間と計算コストを必要とする。 この制限は実用的応用を制限する。 本研究では,拡散前のモノクロ映像からアニマタブルな3次元ガウススプラッティングを構築する手法を提案する。 3Dガウス表現はトレーニングとレンダリングのプロセスを大幅に加速し、拡散先行法により、限られた視点で3Dモデルを学習することができる。 また, 前者の活用性を高めるため, 厳密な正規化も提案する。 我々は、様々な実世界のビデオに対して広範囲に評価を行い、現在の最先端手法と比較して優れた性能を示す。

関連論文リスト

• Animate3D: Animating Any 3D Model with Multi-view Video Diffusion [47.05131487114018]
  Animate3Dは静的な3Dモデルをアニメーションするための新しいフレームワークである。 本研究では,3Dオブジェクトのアニメーション化に多視点ビデオ拡散プリミティブを活用するために,再構成と4Dスコア蒸留サンプリング(4D-SDS)を組み合わせたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T05:35:57Z)
• iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
  モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。 この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。 我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
  論文  参考訳（メタデータ） (2024-07-15T18:51:51Z)
• MotionDreamer: Exploring Semantic Video Diffusion features for Zero-Shot 3D Mesh Animation [10.263762787854862]
  本稿では,ビデオ拡散モデルから抽出した動きに基づいて,様々な3次元形状の自動アニメーションを行う手法を提案する。 既存のコンピュータグラフィックスパイプラインと互換性のあるメッシュベースの明示的な表現を活用します。 我々の時間効率ゼロショット法は,多種多様な3次元形状を再アニメーションする優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T15:30:38Z)
• Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting [10.06208115191838]
  トレーニングされた3D-GSを用いて,新しいビューのレンダリングを強化するブートストラップ手法を提案する。 以上の結果から,ブートストレッピングはアーティファクトを効果的に削減し,評価指標の明確化を図っている。
  論文  参考訳（メタデータ） (2024-04-29T12:57:05Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• V3D: Video Diffusion Models are Effective 3D Generators [19.33837029942662]
  本稿では、事前学習したビデオ拡散モデルの世界シミュレーション能力を活用して、3D生成を容易にするV3Dを紹介する。 これを利用して、最先端のビデオ拡散モデルを微調整して、1つの画像が与えられた物体を囲む360度軌道フレームを生成することができる。 提案手法はシーンレベルの新規ビュー合成に拡張可能であり,スパース・インプット・ビューによるカメラ・パスの正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-03-11T14:03:36Z)
• Animate124: Animating One Image to 4D Dynamic Scene [108.17635645216214]
  Animate124は、テキストによる動作記述を通じて、単一のWildイメージを3Dビデオにアニメーションする最初の作品である。 提案手法は,既存のベースラインよりも大幅に進歩したことを示す。
  論文  参考訳（メタデータ） (2023-11-24T16:47:05Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Reconstructing Animatable Categories from Videos [65.14948977749269]
  アニマタブルな3Dモデルの構築は、3Dスキャン、精巧な登録、手動リグの必要性のために難しい。 本稿では,一眼レフビデオからカテゴリ3Dモデルを構築するRACについて述べる。 私たちは、人間、猫、犬の3Dモデルが50-100のインターネットビデオから学習できることを示します。
  論文  参考訳（メタデータ） (2023-05-10T17:56:21Z)
• Learning 3D Photography Videos via Self-supervised Diffusion on Single Images [105.81348348510551]
  3D写真は、静止画を3D視覚効果のあるビデオにレンダリングする。 既存のアプローチは通常、まず単眼深度推定を行い、次に様々な視点で入力フレームを後続のフレームに描画する。 我々は、入力オブジェクトの空間と時間を拡張する、新しいタスク、out-animationを提案する。
  論文  参考訳（メタデータ） (2023-02-21T16:18:40Z)
• 3D-Aware Video Generation [149.5230191060692]
  本研究では, 3D 対応ビデオの生成を学習する 4 次元生成敵ネットワーク (GAN) について検討する。 神経暗黙表現と時間認識判別器を組み合わせることで,モノクラービデオのみを教師する3D映像を合成するGANフレームワークを開発した。
  論文  参考訳（メタデータ） (2022-06-29T17:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。