論文の概要: Direct Learning of Mesh and Appearance via 3D Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2405.06945v1
• Date: Sat, 11 May 2024 07:56:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 19:07:50.102755
• Title: Direct Learning of Mesh and Appearance via 3D Gaussian Splatting
• Title（参考訳）: 3次元ガウススプレイティングによるメッシュと外観の直接学習
• Authors: Ancheng Lin, Jun Li,
• Abstract要約: 本稿では、3DGSを明示的な幾何学的表現、すなわちメッシュに組み込んだ学習可能なシーンモデルを提案する。 私たちのモデルは、エンドツーエンドでメッシュと外観を学びます。 実験により、学習シーンモデルが最先端のレンダリング品質を達成することを示す。
• 参考スコア（独自算出の注目度）: 3.4899193297791054
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately reconstructing a 3D scene including explicit geometry information is both attractive and challenging. Geometry reconstruction can benefit from incorporating differentiable appearance models, such as Neural Radiance Fields and 3D Gaussian Splatting (3DGS). In this work, we propose a learnable scene model that incorporates 3DGS with an explicit geometry representation, namely a mesh. Our model learns the mesh and appearance in an end-to-end manner, where we bind 3D Gaussians to the mesh faces and perform differentiable rendering of 3DGS to obtain photometric supervision. The model creates an effective information pathway to supervise the learning of the scene, including the mesh. Experimental results demonstrate that the learned scene model not only achieves state-of-the-art rendering quality but also supports manipulation using the explicit mesh. In addition, our model has a unique advantage in adapting to scene updates, thanks to the end-to-end learning of both mesh and appearance.
• Abstract（参考訳）: 明示的な幾何学情報を含む3Dシーンの正確な再構築は魅力的かつ困難である。 幾何再構成は、3DGS(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版))や3Dガウス散乱(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)のような異なる外観モデル(英語版)を取り入れることの恩恵を受ける。 本研究では、3DGSを明示的な幾何学的表現、すなわちメッシュに組み込んだ学習可能なシーンモデルを提案する。 我々のモデルはメッシュと外観をエンドツーエンドで学習し、メッシュ面に3Dガウスアンを結合し、3DGSの微分レンダリングを行い、測光監督を得る。 このモデルは、メッシュを含むシーンの学習を監督する効果的な情報経路を作成する。 実験により、学習シーンモデルは最先端のレンダリング品質を達成するだけでなく、明示的なメッシュによる操作もサポートすることが示された。 さらに、当社のモデルは、メッシュと外観の両方のエンドツーエンド学習のおかげで、シーン更新に適応する上で、ユニークなアドバンテージを持っています。

関連論文リスト

• 3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis [49.352765055181436]
  動的ビュー合成のための3次元幾何学的変形可能なガウススメッティング法を提案する。 提案手法は,動的ビュー合成と3次元動的再構成を改良した3次元形状認識変形モデリングを実現する。
  論文  参考訳（メタデータ） (2024-04-09T12:47:30Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• 3D Face Reconstruction Using A Spectral-Based Graph Convolution Encoder [3.749406324648861]
  本稿では,既存の2次元機能と3次元機能を統合し,モデル学習プロセスを導く革新的なアプローチを提案する。 我々のモデルはデータセットの組み合わせから2D-3Dデータペアを用いて訓練され、NoWベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-03-08T11:09:46Z)
• Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
  ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。 我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。 提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
  論文  参考訳（メタデータ） (2024-02-07T12:36:54Z)
• GaMeS: Mesh-Based Adapting and Modification of Gaussian Splatting [11.791944275269266]
  メッシュと同じようにガウス成分を修正可能なガウスメッシュスプラッティング(GaMeS)モデルを導入する。 また、メッシュ上の位置のみに基づいてガウススプレートを定義し、アニメーション中の位置、スケール、回転を自動的に調整する。
  論文  参考訳（メタデータ） (2024-02-02T14:50:23Z)
• 3DStyle-Diffusion: Pursuing Fine-grained Text-driven 3D Stylization with 2D Diffusion Models [102.75875255071246]
  テキスト駆動型スタイリングによる3Dコンテンツ作成は、マルチメディアとグラフィックコミュニティにとって根本的な課題となっている。 2次元拡散モデルから制御可能な外観と幾何学的ガイダンスを付加した3次元メッシュのきめ細かいスタイリングをトリガーする新しい3DStyle-Diffusionモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-09T15:51:27Z)
• Next3D: Generative Neural Texture Rasterization for 3D-Aware Head Avatars [36.4402388864691]
  3D-Aware Generative Adversarial Network (GANs) は, 単一視点2D画像のコレクションのみを用いて, 高忠実かつ多視点の顔画像を合成する。 最近の研究は、3D Morphable Face Model (3DMM) を用いて、生成放射場における変形を明示的または暗黙的に記述している。 本研究では,非構造化2次元画像から生成的,高品質,かつ3D一貫性のある顔アバターの教師なし学習のための新しい3D GANフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-21T06:40:46Z)
• Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images [94.49117671450531]
  最先端の3D生成モデルは、合成に神経的な3Dボリューム表現を使用するGANである。 本稿では,単分子観察だけで物体の絡み合ったモデルを学ぶことができる3D GANを設計する。
  論文  参考訳（メタデータ） (2022-03-29T22:03:18Z)
• Im2Mesh GAN: Accurate 3D Hand Mesh Recovery from a Single RGB Image [31.371190180801452]
  入力画像から直接ハンドメッシュを学習できることが示される。 我々は、エンドツーエンドの学習を通してメッシュを学習するための新しいタイプのGANIm2Mesh GANを提案する。
  論文  参考訳（メタデータ） (2021-01-27T07:38:01Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。