論文の概要: GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization
- arxiv url: http://arxiv.org/abs/2312.05133v1
- Date: Fri, 8 Dec 2023 16:05:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 14:50:25.239251
- Title: GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization
- Title(参考訳): gir: relightable scene factorizationのための3次元ガウス逆レンダリング
- Authors: Yahao Shi, Yanmin Wu, Chenming Wu, Xing Liu, Chen Zhao, Haocheng Feng,
Jingtuo Liu, Liangjun Zhang, Jian Zhang, Bin Zhou, Errui Ding, Jingdong Wang
- Abstract要約: GIRは3次元ガウス逆レンダリング法である。
本手法は,多視点画像から物体の材料特性,照明,形状を推定するために3次元ガウス法を用いる。
- 参考スコア(独自算出の注目度): 76.52007427483396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents GIR, a 3D Gaussian Inverse Rendering method for
relightable scene factorization. Compared to existing methods leveraging
discrete meshes or neural implicit fields for inverse rendering, our method
utilizes 3D Gaussians to estimate the material properties, illumination, and
geometry of an object from multi-view images. Our study is motivated by the
evidence showing that 3D Gaussian is a more promising backbone than neural
fields in terms of performance, versatility, and efficiency. In this paper, we
aim to answer the question: ``How can 3D Gaussian be applied to improve the
performance of inverse rendering?'' To address the complexity of estimating
normals based on discrete and often in-homogeneous distributed 3D Gaussian
representations, we proposed an efficient self-regularization method that
facilitates the modeling of surface normals without the need for additional
supervision. To reconstruct indirect illumination, we propose an approach that
simulates ray tracing. Extensive experiments demonstrate our proposed GIR's
superior performance over existing methods across multiple tasks on a variety
of widely used datasets in inverse rendering. This substantiates its efficacy
and broad applicability, highlighting its potential as an influential tool in
relighting and reconstruction. Project page: https://3dgir.github.io
- Abstract(参考訳): 本稿では,3次元ガウス逆レンダリング法であるGIRについて述べる。
離散メッシュやニューラル暗黙の場を逆レンダリングに利用する既存の手法と比較して,本手法は3次元ガウスアンを用いて多視点画像から物体の材料特性,照明,形状を推定する。
我々の研究は、3D Gaussianが、性能、汎用性、効率の点で、ニューラルネットワークよりも有望なバックボーンであることを示す証拠によって動機付けられている。
本稿では,「3次元ガウスは逆レンダリングの性能を向上させるためにどのように適用できるか?」という質問に対して,離散的かつしばしば同質な分散3次元ガウス表現に基づく正規推定の複雑さに対処するために,新たな監督を必要とせずに表面正規表現のモデリングを容易にする効率的な自己正規化手法を提案する。
間接照明を再現するために,光線追跡をシミュレートする手法を提案する。
広範囲にわたる実験により,提案手法が複数タスクにまたがる既存手法よりも優れた性能を示すことを実証した。
これにより、その有効性と幅広い適用性が実証され、啓蒙と復興に影響力のあるツールとしての可能性が強調される。
プロジェクトページ: https://3dgir.github.io
関連論文リスト
- Mesh-based Gaussian Splatting for Real-time Large-scale Deformation [58.18290393082119]
ユーザがリアルタイムで大きな変形で暗黙の表現を直接変形または操作することは困難である。
我々は,インタラクティブな変形を可能にする新しいGSベースの手法を開発した。
提案手法は,高いフレームレートで良好なレンダリング結果を維持しつつ,高品質な再構成と効率的な変形を実現する。
論文 参考訳(メタデータ) (2024-02-07T12:36:54Z) - Sparse-view CT Reconstruction with 3D Gaussian Volumetric Representation [13.667470059238607]
Sparse-view CTは従来のCTスキャンの放射線線量を減らすための有望な戦略である。
近年、3Dガウスアンは複雑な自然シーンのモデル化に応用されている。
スパース・ビューCT再建の可能性について検討した。
論文 参考訳(メタデータ) (2023-12-25T09:47:33Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable
Generalizable 3D Reconstruction [29.192847542384712]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳(メタデータ) (2023-12-19T17:03:50Z) - SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM [50.60694084264132]
3Dガウシアンによるシーンの表現は、単一の単眼のRGB-Dカメラを用いて高密度SLAMを実現することができることを示す。
私たちはオンラインのトラッキングとマッピングのパイプラインを採用し、基礎となるガウス表現を特に使用するように調整しています。
実験により、SplaTAMは、カメラポーズ推定、マップ構築、ノベルビュー合成において、最先端の性能を最大2倍に向上することが示された。
論文 参考訳(メタデータ) (2023-12-04T18:53:24Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - GaussianShader: 3D Gaussian Splatting with Shading Functions for
Reflective Surfaces [45.15827491185572]
反射面を持つシーンにおけるニューラルレンダリングを強化するために, 簡易シェーディング機能を3次元ガウスに応用する新しい手法を提案する。
実験の結果、ガウシアンシェーダーは効率と視覚的品質のバランスを保っていることがわかった。
論文 参考訳(メタデータ) (2023-11-29T17:22:26Z) - GS-IR: 3D Gaussian Splatting for Inverse Rendering [76.32477514781684]
3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。
我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。
フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
論文 参考訳(メタデータ) (2023-11-26T02:35:09Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [54.56928482110888]
本稿では,まず3次元ガウス表現を同時局所化・マッピングシステムで利用するtextbfGS-SLAM$を紹介する。
提案手法では,地図の最適化とRGB-D再レンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳(メタデータ) (2023-11-20T12:08:23Z) - GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion
Probabilistic Models with Structured Noise [0.0]
本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。
我々は3次元ガウススプラッティングによって生成された摂動画像にマルチビューノイズ分布を用いる。
我々の知る限り,本手法は3次元コンテンツ生成プロセスの全領域にわたるガウススプラッティングの包括的利用が初めてである。
論文 参考訳(メタデータ) (2023-11-19T04:26:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。