論文の概要: FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization
- arxiv url: http://arxiv.org/abs/2403.06908v1
- Date: Mon, 11 Mar 2024 17:00:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:07:39.561925
- Title: FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization
- Title(参考訳): fregs:プログレッシブ周波数正規化を用いた3次元ガウススメッティング
- Authors: Jiahui Zhang and Fangneng Zhan and Muyu Xu and Shijian Lu and Eric
Xing
- Abstract要約: 周波数空間における過度再構成問題に対処するために, 進行周波数正規化手法を開発した。
FreGSは優れた斬新なビュー合成を実現し、最先端の技術を一貫して上回っている。
- 参考スコア(独自算出の注目度): 72.39452148034735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D Gaussian splatting has achieved very impressive performance in real-time
novel view synthesis. However, it often suffers from over-reconstruction during
Gaussian densification where high-variance image regions are covered by a few
large Gaussians only, leading to blur and artifacts in the rendered images. We
design a progressive frequency regularization (FreGS) technique to tackle the
over-reconstruction issue within the frequency space. Specifically, FreGS
performs coarse-to-fine Gaussian densification by exploiting low-to-high
frequency components that can be easily extracted with low-pass and high-pass
filters in the Fourier space. By minimizing the discrepancy between the
frequency spectrum of the rendered image and the corresponding ground truth, it
achieves high-quality Gaussian densification and alleviates the
over-reconstruction of Gaussian splatting effectively. Experiments over
multiple widely adopted benchmarks (e.g., Mip-NeRF360, Tanks-and-Temples and
Deep Blending) show that FreGS achieves superior novel view synthesis and
outperforms the state-of-the-art consistently.
- Abstract(参考訳): 3次元ガウシアンスプラッティングは、リアルタイムの新規ビュー合成において非常に優れた性能を発揮している。
しかし、高分散画像領域が少数のガウス像のみに覆われるガウス密度化の際の過度な再構成に悩まされ、描画された画像のぼやけやアーティファクトが生じる。
我々は、周波数空間内のオーバーリコンストラクション問題に取り組むために、プログレッシブ周波数正規化(fregs)手法を設計する。
具体的には、フーリエ空間における低域通過フィルタと高域通過フィルタで容易に抽出できる低域通過周波数成分を利用して、粗大なガウス密度化を行う。
レンダリング画像の周波数スペクトルと対応する基底真実との差を最小化することにより、高品質なガウス密度化を実現し、ガウススプラッティングの過度な再構成を効果的に緩和する。
複数の広く採用されているベンチマーク(例えばMip-NeRF360、Tamps-and-Temples、Deep Blending)に対する実験は、FreGSが優れた新規なビュー合成を達成し、最先端技術よりも一貫して優れていることを示している。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - GES: Generalized Exponential Splatting for Efficient Radiance Field
Rendering [116.99325082775387]
GES(Generalized Exponential Splatting)は、GEF(Generalized Exponential Function)を用いて3Dシーンをモデル化する斬新な表現である。
周波数変調損失の助けを借りて、GESは新規なビュー合成ベンチマークにおいて競合性能を達成する。
論文 参考訳(メタデータ) (2024-02-15T17:32:50Z) - FSGS: Real-Time Few-shot View Synthesis using Gaussian Splatting [63.8093511389908]
本稿では,3次元ガウススプラッティングに基づく数ショットビュー合成フレームワークを提案する。
このフレームワークは3つのトレーニングビューでリアルタイムおよびフォトリアリスティックなビュー合成を可能にする。
FSGSは、さまざまなデータセットの精度とレンダリング効率の両方で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-12-01T09:30:02Z) - LightGaussian: Unbounded 3D Gaussian Compression with 15x Reduction and
200+ FPS [59.18668438479886]
光ガウシアン(LightGaussian)は、3次元ガウシアンをより効率的でコンパクトなフォーマットに変換する新しい方法である。
ネットワーク・プルーニング(Network Pruning)の概念からインスピレーションを得たLightGaussianは、シーンの再構築に貢献するに足りていないガウシアンを特定する。
本稿では,全ての属性を量子化するハイブリッド方式であるVecTree Quantizationを提案する。
論文 参考訳(メタデータ) (2023-11-28T21:39:20Z) - GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion
Probabilistic Models with Structured Noise [0.0]
本稿では,ガウススプラッティングに基づく3次元コンテンツ生成フレームワークについて紹介する。
我々は3次元ガウススプラッティングによって生成された摂動画像にマルチビューノイズ分布を用いる。
我々の知る限り,本手法は3次元コンテンツ生成プロセスの全領域にわたるガウススプラッティングの包括的利用が初めてである。
論文 参考訳(メタデータ) (2023-11-19T04:26:16Z) - Guided Frequency Loss for Image Restoration [0.9821874476902969]
本稿では、画像の周波数内容と空間的コンテンツとをバランスよく学習するのに役立つガイド周波数損失(GFL)を提案する。
学習効率を高めるために並列に動作する3つの主要なコンポーネントを集約する。
その結果、ほとんどの実験でGFL損失はPSNR測定値を改善した。
論文 参考訳(メタデータ) (2023-09-27T10:37:51Z) - WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。
WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
論文 参考訳(メタデータ) (2023-08-09T09:24:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。