論文の概要: RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis
- arxiv url: http://arxiv.org/abs/2408.03356v1
- Date: Tue, 6 Aug 2024 10:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 14:36:13.119550
- Title: RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis
- Title（参考訳）: RayGauss:フォトリアリスティックな新規ビュー合成のための体積ガウス型レイキャスティング
- Authors: Hugo Blanc, Jean-Emmanuel Deschaud, Alexis Paljic,
- Abstract要約: 微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。
不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。
適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
- 参考スコア（独自算出の注目度）: 3.4341938551046227
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable volumetric rendering-based methods made significant progress in novel view synthesis. On one hand, innovative methods have replaced the Neural Radiance Fields (NeRF) network with locally parameterized structures, enabling high-quality renderings in a reasonable time. On the other hand, approaches have used differentiable splatting instead of NeRF's ray casting to optimize radiance fields rapidly using Gaussian kernels, allowing for fine adaptation to the scene. However, differentiable ray casting of irregularly spaced kernels has been scarcely explored, while splatting, despite enabling fast rendering times, is susceptible to clearly visible artifacts. Our work closes this gap by providing a physically consistent formulation of the emitted radiance c and density {\sigma}, decomposed with Gaussian functions associated with Spherical Gaussians/Harmonics for all-frequency colorimetric representation. We also introduce a method enabling differentiable ray casting of irregularly distributed Gaussians using an algorithm that integrates radiance fields slab by slab and leverages a BVH structure. This allows our approach to finely adapt to the scene while avoiding splatting artifacts. As a result, we achieve superior rendering quality compared to the state-of-the-art while maintaining reasonable training times and achieving inference speeds of 25 FPS on the Blender dataset. Project page with videos and code: https://raygauss.github.io/
- Abstract（参考訳）: 異なるボリュームレンダリングに基づく手法は、新しいビュー合成に大きな進歩をもたらした。
一方、革新的手法はNeural Radiance Fields (NeRF) ネットワークを局所パラメータ構造に置き換え、適切な時間で高品質なレンダリングを可能にする。
一方、アプローチでは、NeRFのレイキャストの代わりに微分可能なスプラッティングを使用して、ガウス核を用いて高速に放射場を最適化し、シーンへの微調整を可能にしている。
しかしながら、不規則に間隔を置いたカーネルの異なる光線キャスティングは、高速なレンダリングが可能であるにもかかわらず、はっきりと見えるアーティファクトに感受性がある一方で、ほとんど調査されていない。
我々の研究は、全周波数色度表現のために球状ガウス/ハーモニックに付随するガウス函数で分解された放射率 c と密度 {\sigma} の物理的に一貫した定式化を提供することで、このギャップを埋める。
また,不規則に分布するガウシアンを,スラブでスラブした放射場を統合し,BVH構造を利用するアルゴリズムを用いて,識別可能な光線キャスティングを可能にする手法を提案する。
これによって私たちは,アーティファクトのスプラッティングを避けながら,シーンに微妙に適応することが可能になります。
その結果、適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しつつ、最先端技術よりも優れたレンダリング品質を実現した。
ビデオとコード付きのプロジェクトページ: https://raygauss.github.io/
関連論文リスト
- Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。
提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
論文 参考訳（メタデータ） (2024-07-17T04:02:54Z) - 3D Gaussian Ray Tracing: Fast Tracing of Particle Scenes [50.36933474990516]
本研究は, 粒子のトレーシング, 境界体積階層の構築, 高性能なレイトレーシングハードウェアを用いた各画素のレイキャストについて考察する。
半透明粒子の多量処理を効率的に行うために,有界メッシュで粒子をカプセル化するアルゴリズムについて述べる。
実験は、我々のアプローチの速度と精度、およびコンピュータグラフィックスとビジョンにおけるいくつかの応用を実証する。
論文 参考訳（メタデータ） (2024-07-09T17:59:30Z) - DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。
定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-15T01:58:54Z) - CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
スパース入力によるNeRFの性能向上のための新しい手法を提案する。
まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。
次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
論文 参考訳（メタデータ） (2024-03-25T15:56:17Z) - pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction [26.72289913260324]
pixelSplatは、画像のペアから3次元ガウスプリミティブによってパラメータ化された3次元放射界の再構成を学ぶフィードフォワードモデルである。
我々のモデルは、スケーラブルなトレーニングのためのリアルタイム・メモリ効率のレンダリングと、推論時の高速な3次元再構成を特徴としている。
論文 参考訳（メタデータ） (2023-12-19T17:03:50Z) - GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View
Synthesis [17.572987038801475]
変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。
差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。
我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
論文 参考訳（メタデータ） (2023-12-18T18:59:03Z) - Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。
3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。
この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文 参考訳（メタデータ） (2023-12-06T00:46:30Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳（メタデータ） (2021-12-31T11:56:01Z) - Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。
実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。
また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
論文 参考訳（メタデータ） (2021-12-02T18:59:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。