論文の概要: Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering

• arxiv url: http://arxiv.org/abs/2409.10335v1
• Date: Mon, 16 Sep 2024 14:46:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 15:10:41.929316
• Title: Phys3DGS: Physically-based 3D Gaussian Splatting for Inverse Rendering
• Title（参考訳）: Phys3DGS:逆レンダリングのための物理ベース3次元ガウススプレイティング
• Authors: Euntae Choi, Sungjoo Yoo,
• Abstract要約: まず,表面下ガウス色が既存手法で採用したボリュームレンダリングにおいて,ガウス色に悪影響を及ぼす隠れガウス色によって生じる問題について報告する。 遅延レンダリングによる3DGSベースの逆レンダリングの品質向上を目的として,新しい2段階トレーニング手法を提案する。 実験の結果,提案手法は既存の3DGSベースの逆レンダリング法に比べて,レンダリング品質が大幅に向上していることがわかった。
• 参考スコア（独自算出の注目度）: 5.908471365011943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose two novel ideas (adoption of deferred rendering and mesh-based representation) to improve the quality of 3D Gaussian splatting (3DGS) based inverse rendering. We first report a problem incurred by hidden Gaussians, where Gaussians beneath the surface adversely affect the pixel color in the volume rendering adopted by the existing methods. In order to resolve the problem, we propose applying deferred rendering and report new problems incurred in a naive application of deferred rendering to the existing 3DGS-based inverse rendering. In an effort to improve the quality of 3DGS-based inverse rendering under deferred rendering, we propose a novel two-step training approach which (1) exploits mesh extraction and utilizes a hybrid mesh-3DGS representation and (2) applies novel regularization methods to better exploit the mesh. Our experiments show that, under relighting, the proposed method offers significantly better rendering quality than the existing 3DGS-based inverse rendering methods. Compared with the SOTA voxel grid-based inverse rendering method, it gives better rendering quality while offering real-time rendering.
• Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(3DGS)に基づく逆レンダリングの品質向上のために,遅延レンダリングとメッシュベース表現の2つの新しいアイデアを提案する。 まず,表面下ガウス色が既存手法で採用したボリュームレンダリングにおいて,ガウス色に悪影響を及ぼす隠れガウス色によって生じる問題について報告する。 この問題を解決するために,提案手法は遅延レンダリングを適用し,既存の3DGSベースの逆レンダリングに遅延レンダリングを適用した場合に発生する新たな問題を報告する。 遅延レンダリング下での3DGSベースの逆レンダリングの品質向上を目的として,(1)メッシュ抽出を利用してハイブリッドメッシュ3DGS表現を利用する新しい2段階トレーニング手法を提案し,(2)メッシュをよりよく活用するための新しい正規化手法を適用した。 実験の結果,提案手法は既存の3DGSベースの逆レンダリング法に比べて,レンダリング品質が大幅に向上していることがわかった。 SOTAのボクセルグリッドベースの逆レンダリング法と比較すると、リアルタイムレンダリングを提供しながら、レンダリング品質が向上する。

関連論文リスト

• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)
• TriPlaneNet: An Encoder for EG3D Inversion [1.9567015559455132]
  NeRFをベースとしたGANは、人間の頭部の高分解能かつ高忠実な生成モデリングのための多くのアプローチを導入している。 2D GANインバージョンのための普遍的最適化に基づく手法の成功にもかかわらず、3D GANに適用された手法は、結果を新しい視点に外挿することができないかもしれない。 本稿では,EG3D生成モデルに提示された3面表現を直接利用することにより,両者のギャップを埋める高速な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:20Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。