論文の概要: GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2306.06044v2
- Date: Mon, 18 Sep 2023 10:22:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 23:26:57.207700
- Title: GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields
- Title(参考訳): GANeRF: 神経放射場最適化のためのディスクリミネータの活用
- Authors: Barbara Roessle, Norman M\"uller, Lorenzo Porzi, Samuel Rota Bul\`o,
Peter Kontschieder, Matthias Nie{\ss}ner
- Abstract要約: 我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。
逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。
レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
- 参考スコア(独自算出の注目度): 12.92658687936068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) have shown impressive novel view synthesis
results; nonetheless, even thorough recordings yield imperfections in
reconstructions, for instance due to poorly observed areas or minor lighting
changes. Our goal is to mitigate these imperfections from various sources with
a joint solution: we take advantage of the ability of generative adversarial
networks (GANs) to produce realistic images and use them to enhance realism in
3D scene reconstruction with NeRFs. To this end, we learn the patch
distribution of a scene using an adversarial discriminator, which provides
feedback to the radiance field reconstruction, thus improving realism in a
3D-consistent fashion. Thereby, rendering artifacts are repaired directly in
the underlying 3D representation by imposing multi-view path rendering
constraints. In addition, we condition a generator with multi-resolution NeRF
renderings which is adversarially trained to further improve rendering quality.
We demonstrate that our approach significantly improves rendering quality,
e.g., nearly halving LPIPS scores compared to Nerfacto while at the same time
improving PSNR by 1.4dB on the advanced indoor scenes of Tanks and Temples.
- Abstract(参考訳): 神経放射野 (neural radiance fields, nerf) は目覚ましい新規な視野合成結果を示している。
我々は,現実的な画像を生成するためにGAN(Generative Adversarial Network)を活用し,NeRFを用いた3次元シーン再構成における現実性を高めることを目的としている。
この目的を達成するために, 敵判別器を用いてシーンのパッチ分布を学習し, 放射場再構成にフィードバックを与え, リアリズムを3d一貫性で改善する。
これにより、レンダリングアーチファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現で直接修復される。
さらに,レンダリング品質の向上のために,逆向きに訓練されたマルチレゾリューションNeRFレンダリングを用いたジェネレータを条件とした。
提案手法は,例えばNerfactoに比べてLPIPSスコアが半減するのに対して,PSNRを1.4dB向上させるなど,レンダリング品質を著しく向上することを示した。
関連論文リスト
- ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳(メタデータ) (2023-11-30T17:58:57Z) - Rethinking Directional Integration in Neural Radiance Fields [8.012147983948665]
数行のコード変更をNeRF変種に対して行うのと同じくらい簡単なNeRFレンダリング方程式の修正を導入する。
修正方程式は、学習された光線埋め込みによる光場レンダリングと解釈できることを示す。
論文 参考訳(メタデータ) (2023-11-28T18:59:50Z) - Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D
Scene Representations [34.836151514152746]
本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。
結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。
AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
論文 参考訳(メタデータ) (2023-10-27T03:52:08Z) - Tri-MipRF: Tri-Mip Representation for Efficient Anti-Aliasing Neural
Radiance Fields [20.10708828626049]
本稿では,ニューラルレイディアンスフィールドの即時再構成とアンチエイリアス化による高忠実度レンダリングを実現する新しいTri-Mip符号化法を提案する。
新規なTri-Mip表現に対処するため,アンチエイリアス化された3D特徴を効率的にサンプリングするコーンキャストレンダリング手法を提案する。
論文 参考訳(メタデータ) (2023-07-21T03:47:28Z) - ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for
Sparse View Synthesis [99.06490355990354]
本研究では,深度情報を利用して画素間のマルチビューとシングルビューの3D整合性を調整する手法であるConsistentNeRFを提案する。
提案手法は,PSNRが94%,SSIMが31%,LPIPSが31%,疎視条件下でのモデル性能を大幅に向上させることができる。
論文 参考訳(メタデータ) (2023-05-18T15:18:01Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳(メタデータ) (2023-04-20T17:59:52Z) - PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene
Reconstruction from Blurry Images [75.87721926918874]
PDRF(Progressive Deblurring Radiance Field)について報告する。
PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。
PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
論文 参考訳(メタデータ) (2022-08-17T03:42:29Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。