論文の概要: GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2402.01459v1
• Date: Fri, 2 Feb 2024 14:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:50:45.395546
• Title: GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting
• Title（参考訳）: GaMeS: メッシュベースのガウススティングの適応と修正
• Authors: Joanna Waczy\'nska, Piotr Borycki, S{\l}awomir Tadeja, Jacek Tabor, Przemys{\l}aw Spurek
• Abstract要約: ガウス分布による画像画素への寄与を近似することにより、3次元シーンのポイントを描画する新しい最先端技術を導入する。 高品質なビューをリアルタイムに生成する上で,高品質なレンダリングを実現する。
• 参考スコア（独自算出の注目度）: 11.791944275269266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, a range of neural network-based methods for image rendering have been introduced. For instance, widely-researched neural radiance fields (NeRF) rely on a neural network to represent 3D scenes, allowing for realistic view synthesis from a small number of 2D images. However, most NeRF models are constrained by long training and inference times. In comparison, Gaussian Splatting (GS) is a novel, state-of-theart technique for rendering points in a 3D scene by approximating their contribution to image pixels through Gaussian distributions, warranting fast training and swift, real-time rendering. A drawback of GS is the absence of a well-defined approach for its conditioning due to the necessity to condition several hundred thousand Gaussian components. To solve this, we introduce Gaussian Mesh Splatting (GaMeS) model, a hybrid of mesh and a Gaussian distribution, that pin all Gaussians splats on the object surface (mesh). The unique contribution of our methods is defining Gaussian splats solely based on their location on the mesh, allowing for automatic adjustments in position, scale, and rotation during animation. As a result, we obtain high-quality renders in the real-time generation of high-quality views. Furthermore, we demonstrate that in the absence of a predefined mesh, it is possible to fine-tune the initial mesh during the learning process.
• Abstract（参考訳）: 近年,画像レンダリングのためのニューラルネットワークベースの手法が数多く導入されている。 例えば、広く研究されているneural radiance fields(nerf)は、ニューラルネットワークを使って3dシーンを表現し、少数の2d画像からの現実的なビュー合成を可能にする。 しかし、ほとんどのNeRFモデルは長いトレーニングと推論時間によって制約される。 対照的に、Gaussian Splatting(GS)は、ガウス分布を通して画像画素への寄与を近似し、高速なトレーニングと高速なリアルタイムレンダリングを保証することによって、3Dシーンのポイントをレンダリングする新しい最先端技術である。 GSの欠点は、数十万のガウス成分を条件付けする必要があるため、その条件付けに対する明確なアプローチが存在しないことである。 そこで本研究では,メッシュとガウス分布のハイブリッドであるガウスメッシュスプレート(ゲーム)モデルを導入し,すべてのガウスメッシュスプレートを物体表面(mesh)にピン留めする。 この方法のユニークな貢献は,メッシュ上の位置のみに基づいてガウスプレートを定義することで,アニメーション中の位置,スケール,回転の自動調整を可能にすることである。 その結果、高品質なビューをリアルタイムに生成する際の高品質なレンダリングが得られる。 さらに,事前定義されたメッシュがない場合,学習プロセス中に初期メッシュを微調整することが可能であることを実証する。

関連論文リスト

• MeshSplats: Mesh-Based Rendering with Gaussian Splatting Initialization [0.4543820534430523]
  本稿では,ガウス的要素をメッシュ面に変換する手法であるMeshSplatsを紹介する。 我々のモデルは変換の直後に利用でき、追加のトレーニングなしでわずかに品質が低下するメッシュが得られる。
  論文  参考訳（メタデータ） (2025-02-11T18:27:39Z)
• PixelGaussian: Generalizable 3D Gaussian Reconstruction from Arbitrary Views [116.10577967146762]
  PixelGaussianは、任意の視点から一般化可能な3Dガウス再構成を学習するための効率的なフレームワークである。 提案手法は,様々な視点によく一般化した最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-10-24T17:59:58Z)
• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering [81.88246351984908]
  任意のスケールでガウスを適応させる統一最適化法を提案する。 ミップマップ技術に触発されて、ターゲットスケールのための擬似基底構造を設計し、3次元ガウスアンにスケール情報を注入するスケール一貫性誘導損失を提案する。 本手法は,PSNRの3DGSを,ズームインで平均9.25dB,ズームアウトで平均10.40dBで上回っている。
  論文  参考訳（メタデータ） (2024-08-12T16:49:22Z)
• 3D Gaussian Splatting as Markov Chain Monte Carlo [30.04096439325343]
  3D Gaussian Splattingは最近、ニューラルレンダリングで人気になっている。 我々は3次元ガウスの集合を、基礎となる確率分布から引き出されたランダムなサンプルとして再考する。 未使用ガウスの除去を促進する正則化器を導入する。
  論文  参考訳（メタデータ） (2024-04-15T09:01:47Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction and High-Quality Mesh Rendering [24.91019554830571]
  本稿では,3次元ガウス格子から高精度かつ極めて高速なメッシュ抽出を可能にする手法を提案する。 しかし、これらのガウス人は最適化後に非組織化される傾向があるため、何百万もの小さな3Dガウスからメッシュを抽出することは困難である。
  論文  参考訳（メタデータ） (2023-11-21T18:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。