論文の概要: GS^3: Efficient Relighting with Triple Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2410.11419v1
- Date: Tue, 15 Oct 2024 09:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:01:11.227450
- Title: GS^3: Efficient Relighting with Triple Gaussian Splatting
- Title(参考訳): GS^3:三重ガウススプラッティングによる効率的なリライティング
- Authors: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu,
- Abstract要約: 我々はポイントライトの入力画像から、リアルタイムで高品質な光とビューを提示する。
各空間ガウスに対して有効反射関数としてランベルティアン+角ガウスの混合を用いる。
我々は,1つのコモディティGPU上で40~70分,レンダリング速度90fpsのトレーニング時間を達成した。
- 参考スコア(独自算出の注目度): 20.950152448082623
- License:
- Abstract: We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.
- Abstract(参考訳): 空間的・角的なガウス的表現と3重スプティングプロセスを用いて,複数視点の点灯画像から高画質の光とビューをリアルタイムに合成する。
複雑な外観を記述するために、空間ガウス毎に有効反射関数としてランベルティアン+角ガウスの混合を用いる。
自己陰影を生成するために、すべての空間ガウスアンを光源に配置し、影値を得る。
グローバル照明などの他の効果を補うために、別のネットワークは、空間ごとのRGBタプルを計算および追加するように訓練されている。
この表現の有効性は, 立体からフラッフィまで) と外観(半透明から異方性まで)の幅の広い30の試料に示され, 合成・再構成対象の描画画像, ハンドヘルドカメラとフラッシュで撮影した写真, プロのライトステージからの撮影画像など, 様々な入力データを用いた。
我々は,1つのコモディティGPU上で40~70分,レンダリング速度90fpsのトレーニング時間を達成した。
本結果は, 品質/性能の観点から, 最先端技術と比較した。
私たちのコードとデータはhttps://GSrelight.github.io/で公開されています。
関連論文リスト
- 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes [50.36933474990516]
本研究は, 粒子のトレーシング, 境界体積階層の構築, 高性能なレイトレーシングハードウェアを用いた各画素のレイキャストについて考察する。
半透明粒子の多量処理を効率的に行うために,有界メッシュで粒子をカプセル化するアルゴリズムについて述べる。
実験は、我々のアプローチの速度と精度、およびコンピュータグラフィックスとビジョンにおけるいくつかの応用を実証する。
論文 参考訳(メタデータ) (2024-07-09T17:59:30Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-30T16:54:59Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳(メタデータ) (2024-04-15T01:58:54Z) - Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion [20.464224937528222]
3Dシーンを再構成するためのコンピュータビジョンとグラフィックにおいて、微分可能な3D-ガウススプラッティング(GS)が顕著な技術として登場している。
GSはよく知られた「抜ける円錐」問題に悩まされており、深さ軸に沿った再建が不十分である。
RGBカメラデータとソナーデータを同時に利用する融合アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-04-06T17:23:43Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field Rendering [112.16239342037714]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳(メタデータ) (2023-12-20T16:14:58Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳(メタデータ) (2023-11-22T20:31:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。