論文の概要: GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2402.01459v3
- Date: Thu, 15 Feb 2024 05:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 20:53:02.580494
- Title: GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting
- Title（参考訳）: GaMeS: メッシュベースのガウススティングの適応と修正
- Authors: Joanna Waczy\'nska, Piotr Borycki, S{\l}awomir Tadeja, Jacek Tabor,
Przemys{\l}aw Spurek
- Abstract要約: メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。
また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
- 参考スコア（独自算出の注目度）: 11.791944275269266
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, a range of neural network-based methods for image rendering have
been introduced. One such widely-researched neural radiance field (NeRF) relies
on a neural network to represent 3D scenes, allowing for realistic view
synthesis from a small number of 2D images. However, most NeRF models are
constrained by long training and inference times. In comparison, Gaussian
Splatting (GS) is a novel, state-of-the-art technique for rendering points in a
3D scene by approximating their contribution to image pixels through Gaussian
distributions, warranting fast training and swift, real-time rendering. A
drawback of GS is the absence of a well-defined approach for its conditioning
due to the necessity to condition several hundred thousand Gaussian components.
To solve this, we introduce the Gaussian Mesh Splatting (GaMeS) model, which
allows modification of Gaussian components in a similar way as meshes. We
parameterize each Gaussian component by the vertices of the mesh face.
Furthermore, our model needs mesh initialization on input or estimated mesh
during training. We also define Gaussian splats solely based on their location
on the mesh, allowing for automatic adjustments in position, scale, and
rotation during animation. As a result, we obtain a real-time rendering of
editable GS.
- Abstract（参考訳）: 近年,画像レンダリングのためのニューラルネットワークに基づく手法が数多く導入されている。
このような広く研究されている神経放射場(NeRF)は、3Dシーンを表現するニューラルネットワークに依存しており、少数の2D画像から現実的なビュー合成を可能にする。
しかし、ほとんどのNeRFモデルは長いトレーニングと推論時間によって制約される。
対照的に、Gaussian Splatting(GS)は、ガウス分布を通して画像画素への寄与を近似し、高速なトレーニングと高速なリアルタイムレンダリングを保証することによって、3Dシーンのポイントをレンダリングする新しい最先端技術である。
GSの欠点は、数十万のガウス成分を条件付けする必要があるため、その条件付けに対する明確なアプローチが存在しないことである。
これを解決するために,ガウスメッシュスプレート(ゲーム)モデルを導入し,メッシュと同じような方法でガウスコンポーネントの修正を可能にする。
メッシュ面の頂点によって各ガウス成分をパラメータ化する。
さらに、トレーニング中に入力または推定メッシュのメッシュ初期化も必要となる。
また,メッシュ上の位置のみに基づいてガウスプレートを定義し,アニメーション中の位置,スケール,回転の自動調整を可能にした。
その結果,編集可能なGSのリアルタイムレンダリングが得られた。
関連論文リスト
- MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization [0.4543820534430523]
本稿では,ガウス的要素をメッシュ面に変換する手法であるMeshSplatsを紹介する。
我々のモデルは変換の直後に利用でき、追加のトレーニングなしでわずかに品質が低下するメッシュが得られる。
論文 参考訳（メタデータ） (2025-02-11T18:27:39Z) - PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。
提案手法は,様々な視点によく一般化した最先端性能を実現する。
論文 参考訳（メタデータ） (2024-10-24T17:59:58Z) - MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。
各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。
提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
論文 参考訳（メタデータ） (2024-10-11T16:07:59Z) - Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering [81.88246351984908]
任意のスケールでガウスを適応させる統一最適化法を提案する。
ミップマップ技術に触発されて、ターゲットスケールのための擬似基底構造を設計し、3次元ガウスアンにスケール情報を注入するスケール一貫性誘導損失を提案する。
本手法は,PSNRの3DGSを,ズームインで平均9.25dB,ズームアウトで平均10.40dBで上回っている。
論文 参考訳（メタデータ） (2024-08-12T16:49:22Z) - 3D Gaussian Splatting as Markov Chain Monte Carlo [30.04096439325343]
3D Gaussian Splattingは最近、ニューラルレンダリングで人気になっている。
我々は3次元ガウスの集合を、基礎となる確率分布から引き出されたランダムなサンプルとして再考する。
未使用ガウスの除去を促進する正則化器を導入する。
論文 参考訳（メタデータ） (2024-04-15T09:01:47Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳（メタデータ） (2024-02-07T12:36:54Z) - GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。
提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2024-02-01T18:14:42Z) - SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh
Reconstruction and High-Quality Mesh Rendering [24.91019554830571]
本稿では,3次元ガウス格子から高精度かつ極めて高速なメッシュ抽出を可能にする手法を提案する。
しかし、これらのガウス人は最適化後に非組織化される傾向があるため、何百万もの小さな3Dガウスからメッシュを抽出することは困難である。
論文 参考訳（メタデータ） (2023-11-21T18:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。