論文の概要: Tetrahedron Splatting for 3D Generation

• arxiv url: http://arxiv.org/abs/2406.01579v2
• Date: Fri, 11 Oct 2024 11:52:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-14 13:28:24.429481
• Title: Tetrahedron Splatting for 3D Generation
• Title（参考訳）: 3次元生成のためのテトラメドロンめっき
• Authors: Chun Gu, Zeyu Yang, Zijie Pan, Xiatian Zhu, Li Zhang,
• Abstract要約: Tetrahedron Splatting (TeT-Splatting) は最適化時の容易な収束、正確なメッシュ抽出、リアルタイムレンダリングをサポートする。 メッシュ抽出なしで表現をトレーニングできるため、最適化プロセスの収束が容易になります。
• 参考スコア（独自算出の注目度）: 39.24591650300784
• License:
• Abstract: 3D representation is essential to the significant advance of 3D generation with 2D diffusion priors. As a flexible representation, NeRF has been first adopted for 3D representation. With density-based volumetric rendering, it however suffers both intensive computational overhead and inaccurate mesh extraction. Using a signed distance field and Marching Tetrahedra, DMTet allows for precise mesh extraction and real-time rendering but is limited in handling large topological changes in meshes, leading to optimization challenges. Alternatively, 3D Gaussian Splatting (3DGS) is favored in both training and rendering efficiency while falling short in mesh extraction. In this work, we introduce a novel 3D representation, Tetrahedron Splatting (TeT-Splatting), that supports easy convergence during optimization, precise mesh extraction, and real-time rendering simultaneously. This is achieved by integrating surface-based volumetric rendering within a structured tetrahedral grid while preserving the desired ability of precise mesh extraction, and a tile-based differentiable tetrahedron rasterizer. Furthermore, we incorporate eikonal and normal consistency regularization terms for the signed distance field to improve generation quality and stability. Critically, our representation can be trained without mesh extraction, making the optimization process easier to converge. Our TeT-Splatting can be readily integrated in existing 3D generation pipelines, along with polygonal mesh for texture optimization. Extensive experiments show that our TeT-Splatting strikes a superior tradeoff among convergence speed, render efficiency, and mesh quality as compared to previous alternatives under varying 3D generation settings.
• Abstract（参考訳）: 3次元表現は2次元拡散前の3次元生成の顕著な進歩に不可欠である。 フレキシブルな表現として、NeRFは初めて3D表現に採用された。 しかし、密度ベースのボリュームレンダリングでは、計算オーバーヘッドと不正確なメッシュ抽出の両方に悩まされる。 署名された距離フィールドとマーチング・テトラヘドラを使用することで、DMTetは正確なメッシュ抽出とリアルタイムレンダリングが可能になるが、メッシュにおける大きなトポロジ的変化の処理には制限があり、最適化の課題に繋がる。 あるいは、3Dガウススメッティング(3DGS)は、メッシュ抽出に不足しながら、トレーニングとレンダリングの効率の両方に好適である。 本研究では,最適化時の収束,高精度メッシュ抽出,リアルタイムレンダリングを同時に実現する新しい3D表現であるTetrahedron Splatting(TeT-Splatting)を提案する。 これは、正確なメッシュ抽出の望ましい能力を保ちつつ、構造化テトラヘドラルグリッドに表面ベースの体積レンダリングを統合することで実現される。 さらに,符号付き距離場に対する固有および正規整合正則化項を組み込んで生成品質と安定性を向上する。 批判的に言えば、私たちの表現はメッシュ抽出なしで訓練できるため、最適化プロセスの収束が容易になります。 私たちのTeT-Splattingは、テクスチャ最適化のためのポリゴンメッシュとともに、既存の3D生成パイプラインに簡単に統合できます。 大規模な実験により, コンバージェンス速度, レンダリング効率, メッシュ品質のトレードオフは, 異なる3次元生成環境下での代替品に比べて優れていることがわかった。

関連論文リスト

• MeshGS: Adaptive Mesh-Aligned Gaussian Splatting for High-Quality Rendering [61.64903786502728]
  本稿では,メッシュ表現を3次元ガウススプラットと統合し,再現された現実世界のシーンの高品質なレンダリングを実現する手法を提案する。 各ガウススプレートとメッシュ表面との距離を, 密接な束縛と緩い束縛の相違点として検討した。 提案手法は,2dB高いPSNRを達成し,メッシュベースのガウス分割法を1.3dBPSNRで上回った。
  論文  参考訳（メタデータ） (2024-10-11T16:07:59Z)
• GaussianRoom: Improving 3D Gaussian Splatting with SDF Guidance and Monocular Cues for Indoor Scene Reconstruction [3.043712258792239]
  ニューラルネットワークSDFと3DGSを統合した統合フレームワークを提案する。 このフレームワークには学習可能なニューラルネットワークSDFフィールドが組み込まれており、ガウスの密度化と刈り取りをガイドしている。 本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T03:46:59Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
  pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。 我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
  論文  参考訳（メタデータ） (2023-12-19T17:03:50Z)
• DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation [55.661467968178066]
  本稿では,DreamGaussianを提案する。DreamGaussianは,効率と品質を両立させる新しい3Dコンテンツ生成フレームワークである。 我々の重要な洞察は、UV空間におけるメッシュ抽出とテクスチャ改善を伴う3次元ガウススプラッティングモデルを設計することである。 ニューラル・ラジアンス・フィールドにおける占有プルーニングとは対照的に、3次元ガウスの進行的な密度化は3次元生成タスクにおいて著しく速く収束することを示した。
  論文  参考訳（メタデータ） (2023-09-28T17:55:05Z)
• TriPlaneNet: An Encoder for EG3D Inversion [1.9567015559455132]
  NeRFをベースとしたGANは、人間の頭部の高分解能かつ高忠実な生成モデリングのための多くのアプローチを導入している。 2D GANインバージョンのための普遍的最適化に基づく手法の成功にもかかわらず、3D GANに適用された手法は、結果を新しい視点に外挿することができないかもしれない。 本稿では,EG3D生成モデルに提示された3面表現を直接利用することにより,両者のギャップを埋める高速な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:20Z)
• Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis [90.26556260531707]
  DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。 メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
  論文  参考訳（メタデータ） (2021-11-08T05:29:35Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。