論文の概要: Gaussian Splatting with NeRF-based Color and Opacity
- arxiv url: http://arxiv.org/abs/2312.13729v3
- Date: Sun, 18 Feb 2024 07:46:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 03:55:00.686914
- Title: Gaussian Splatting with NeRF-based Color and Opacity
- Title(参考訳): NeRFをベースとした色とオパクティを持つガウススメッティング
- Authors: Dawid Malarz, Weronika Smolak, Jacek Tabor, S{\l}awomir Tadeja,
Przemys{\l}aw Spurek
- Abstract要約: 本研究では、3Dオブジェクトの形状のGS表現と、色と不透明度のNeRFに基づく符号化を利用するハイブリッドモデルであるビューングディビジョン・ガウス・スティング(VDGS)を提案する。
私たちのモデルは、影、光の反射、そして3Dオブジェクトの透明性をよりよく表現しています。
- 参考スコア(独自算出の注目度): 11.791944275269266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRFs) have demonstrated the remarkable potential of
neural networks to capture the intricacies of 3D objects. By encoding the shape
and color information within neural network weights, NeRFs excel at producing
strikingly sharp novel views of 3D objects. Recently, numerous generalizations
of NeRFs utilizing generative models have emerged, expanding its versatility.
In contrast, Gaussian Splatting (GS) offers a similar render quality with
faster training and inference as it does not need neural networks to work. We
encode information about the 3D objects in the set of Gaussian distributions
that can be rendered in 3D similarly to classical meshes. Unfortunately, GS are
difficult to condition since they usually require circa hundred thousand
Gaussian components. To mitigate the caveats of both models, we propose a
hybrid model Viewing Direction Gaussian Splatting (VDGS) that uses GS
representation of the 3D object's shape and NeRF-based encoding of color and
opacity. Our model uses Gaussian distributions with trainable positions (i.e.
means of Gaussian), shape (i.e. covariance of Gaussian), color and opacity, and
neural network, which takes parameters of Gaussian and viewing direction to
produce changes in color and opacity. Consequently, our model better describes
shadows, light reflections, and transparency of 3D objects.
- Abstract(参考訳): neural radiance fields (nerfs) は、3dオブジェクトの複雑さを捉えるためのニューラルネットワークの驚くべき可能性を実証している。
ニューラルネットワークの重みの中に形状と色情報をエンコードすることで、NeRFは3Dオブジェクトの驚くほどシャープな新しいビューを生み出すのに優れています。
近年, 生成モデルを用いたNeRFの一般化が数多く現れ, その汎用性が高まっている。
対照的に、gaussian splatting (gs) はニューラルネットワークを必要とせず、より高速なトレーニングと推論で同様のレンダリング品質を提供する。
ガウス分布の集合に3Dオブジェクトに関する情報をエンコードし、古典的メッシュと同様に3Dで描画できる。
残念ながら、GSは通常数十万のガウス成分を必要とするため、条件付けが難しい。
両モデルの注意点を緩和するため,3dオブジェクトの形状のgs表現と,nerfに基づく色と不透明のエンコーディングを用いたハイブリッドモデル視聴方向ガウススプレーティング(vdgs)を提案する。
我々のモデルは、ガウス分布とトレーニング可能な位置(すなわちガウスの手段)、形状(ガウスの共分散)、色と不透明度、ニューラルネットワークを用いており、ガウス分布と視方向のパラメータを使って色と不透明度の変化を生成する。
その結果、3dオブジェクトのシャドウ、光反射、透明性をよりよく記述した。
関連論文リスト
- Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks [10.207899254360374]
NeRFをベースとしたGAN(Generative Adversarial Networks)は非常に高いレンダリング品質を示す。
Neural Radiance Fieldsによるレンダリングは、3Dアプリケーションに課題をもたらす。
我々は、NeRFベースの3D対応GANの高レンダリング品質と3DGSの柔軟性と計算上の利点を組み合わせた新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-04-16T14:48:40Z) - GaussianCube: Structuring Gaussian Splatting using Optimal Transport for 3D Generative Modeling [55.05713977022407]
3次元ガウス散乱(GS)は3次元適合率とレンダリング速度の点でニューラルレイディアンス場よりも大幅に改善されている。
散在したガウス群によるこの非構造表現は、生成的モデリングにとって重要な課題である。
本稿では,GaussianCubeについて紹介する。
論文 参考訳(メタデータ) (2024-03-28T17:59:50Z) - UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。
我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
論文 参考訳(メタデータ) (2024-03-18T09:03:56Z) - Recent Advances in 3D Gaussian Splatting [31.3820273122585]
3次元ガウススプラッティングは、新規なビュー合成のレンダリング速度を大幅に高速化した。
3D Gaussian Splattingの明示的な表現は、動的再構成、幾何学的編集、物理シミュレーションなどの編集作業を容易にする。
本稿では,3次元再構成,3次元編集,その他の下流アプリケーションに大まかに分類できる最近の3次元ガウス散乱法について,文献的考察を行う。
論文 参考訳(メタデータ) (2024-03-17T07:57:08Z) - GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
論文 参考訳(メタデータ) (2024-02-02T14:50:23Z) - GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。
本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。
提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
論文 参考訳(メタデータ) (2023-12-18T18:59:12Z) - Gaussian Shell Maps for Efficient 3D Human Generation [96.25056237689988]
3次元生成敵ネットワーク(GAN)は、生成資産の最先端(SOTA)品質と多様性を実証している。
しかし、現在の3D GANアーキテクチャはレンダリングが遅いボリューム表現に依存しており、GANのトレーニングを妨害し、マルチビュー非一貫性の2Dアップサンプラーを必要とする。
論文 参考訳(メタデータ) (2023-11-29T18:04:07Z) - Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。
既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
論文 参考訳(メタデータ) (2023-11-22T14:00:23Z) - GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging
2D and 3D Diffusion Models [106.06810278075223]
2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。
3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。
本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
論文 参考訳(メタデータ) (2023-10-12T17:22:24Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。