論文の概要: GS^3: Efficient Relighting with Triple Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2410.11419v1
• Date: Tue, 15 Oct 2024 09:11:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:01:11.227450
• Title: GS^3: Efficient Relighting with Triple Gaussian Splatting
• Title（参考訳）: GS^3:三重ガウススプラッティングによる効率的なリライティング
• Authors: Zoubin Bi, Yixin Zeng, Chong Zeng, Fan Pei, Xiang Feng, Kun Zhou, Hongzhi Wu,
• Abstract要約: 我々はポイントライトの入力画像から、リアルタイムで高品質な光とビューを提示する。 各空間ガウスに対して有効反射関数としてランベルティアン+角ガウスの混合を用いる。 我々は,1つのコモディティGPU上で40～70分,レンダリング速度90fpsのトレーニング時間を達成した。
• 参考スコア（独自算出の注目度）: 20.950152448082623
• License:
• Abstract: We present a spatial and angular Gaussian based representation and a triple splatting process, for real-time, high-quality novel lighting-and-view synthesis from multi-view point-lit input images. To describe complex appearance, we employ a Lambertian plus a mixture of angular Gaussians as an effective reflectance function for each spatial Gaussian. To generate self-shadow, we splat all spatial Gaussians towards the light source to obtain shadow values, which are further refined by a small multi-layer perceptron. To compensate for other effects like global illumination, another network is trained to compute and add a per-spatial-Gaussian RGB tuple. The effectiveness of our representation is demonstrated on 30 samples with a wide variation in geometry (from solid to fluffy) and appearance (from translucent to anisotropic), as well as using different forms of input data, including rendered images of synthetic/reconstructed objects, photographs captured with a handheld camera and a flash, or from a professional lightstage. We achieve a training time of 40-70 minutes and a rendering speed of 90 fps on a single commodity GPU. Our results compare favorably with state-of-the-art techniques in terms of quality/performance. Our code and data are publicly available at https://GSrelight.github.io/.
• Abstract（参考訳）: 空間的・角的なガウス的表現と3重スプティングプロセスを用いて,複数視点の点灯画像から高画質の光とビューをリアルタイムに合成する。 複雑な外観を記述するために、空間ガウス毎に有効反射関数としてランベルティアン+角ガウスの混合を用いる。 自己陰影を生成するために、すべての空間ガウスアンを光源に配置し、影値を得る。 グローバル照明などの他の効果を補うために、別のネットワークは、空間ごとのRGBタプルを計算および追加するように訓練されている。 この表現の有効性は, 立体からフラッフィまで) と外観(半透明から異方性まで)の幅の広い30の試料に示され, 合成・再構成対象の描画画像, ハンドヘルドカメラとフラッシュで撮影した写真, プロのライトステージからの撮影画像など, 様々な入力データを用いた。 我々は,1つのコモディティGPU上で40～70分,レンダリング速度90fpsのトレーニング時間を達成した。 本結果は, 品質/性能の観点から, 最先端技術と比較した。 私たちのコードとデータはhttps://GSrelight.github.io/で公開されています。

関連論文リスト

• ODGS: 3D Scene Reconstruction from Omnidirectional Images with 3D Gaussian Splattings [48.72040500647568]
  幾何的解釈を用いた全方位画像の新規化パイプラインであるODGSについて述べる。 パイプライン全体が並列化され、最適化が達成され、NeRFベースの手法よりも100倍高速になる。 その結果、ODGSは大規模な3Dシーンを再構築しても、細部を効果的に復元できることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T02:45:13Z)
• Subsurface Scattering for 3D Gaussian Splatting [10.990813043493642]
  散乱材料を用いた物体の3次元再構成とリライティングは、表面下の複雑な光輸送のために大きな課題となる。 本稿では,マルチビューOLAT(1光1つ)データを用いてオブジェクトの形状を最適にするためのフレームワークを提案する。 本手法は,インタラクティブな速度で素材編集,リライティング,新しいビュー合成を可能にする。
  論文  参考訳（メタデータ） (2024-08-22T10:34:01Z)
• PRTGaussian: Efficient Relighting Using 3D Gaussians with Precomputed Radiance Transfer [13.869132334647771]
  PRTGaussianはリアルタイムに再生可能な新規ビュー合成法である。 マルチビューOLATデータにガウスアンを組み込むことで,リアルタイムで自由視点のリライトを可能にする。
  論文  参考訳（メタデータ） (2024-08-10T20:57:38Z)
• 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes [50.36933474990516]
  本研究は, 粒子のトレーシング, 境界体積階層の構築, 高性能なレイトレーシングハードウェアを用いた各画素のレイキャストについて考察する。 半透明粒子の多量処理を効率的に行うために,有界メッシュで粒子をカプセル化するアルゴリズムについて述べる。 実験は、我々のアプローチの速度と精度、およびコンピュータグラフィックスとビジョンにおけるいくつかの応用を実証する。
  論文  参考訳（メタデータ） (2024-07-09T17:59:30Z)
• RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
  ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。 それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。 様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-30T16:54:59Z)
• Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
  Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。 テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。 いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
  論文  参考訳（メタデータ） (2023-12-20T16:14:58Z)
• GIR: 3D Gaussian Inverse Rendering for Relightable Scene Factorization [62.13932669494098]
  本稿では,3次元ガウス表現を用いた3次元ガウス逆レンダリング(GIR)手法を提案する。 最短固有ベクトルを用いて各3次元ガウスの正規性を計算する。 我々は3次元ガウシアン毎に方向対応の放射光を格納し、多重バウンス光輸送を近似するために二次照明をアンタングルするために、効率的なボクセルベースの間接照明追跡方式を採用する。
  論文  参考訳（メタデータ） (2023-12-08T16:05:15Z)
• LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and 200+ FPS [55.85673901231235]
  光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。 ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。 本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
  論文  参考訳（メタデータ） (2023-11-28T21:39:20Z)
• Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
  本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。 また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。 我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
  論文  参考訳（メタデータ） (2023-11-22T20:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。