論文の概要: GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2306.06044v1
• Date: Fri, 9 Jun 2023 17:12:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 12:22:39.417619
• Title: GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields
• Title（参考訳）: GANeRF: 神経放射場最適化のためのディスクリミネータの活用
• Authors: Barbara Roessle, Norman M\"uller, Lorenzo Porzi, Samuel Rota Bul\`o, Peter Kontschieder, Matthias Nie{\ss}ner
• Abstract要約: 我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。 逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。 レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
• 参考スコア（独自算出の注目度）: 15.919683021143245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) have shown impressive novel view synthesis results; nonetheless, even thorough recordings yield imperfections in reconstructions, for instance due to poorly observed areas or minor lighting changes. Our goal is to mitigate these imperfections from various sources with a joint solution: we take advantage of the ability of generative adversarial networks (GANs) to produce realistic images and use them to enhance realism in 3D scene reconstruction with NeRFs. To this end, we learn the patch distribution of a scene using an adversarial discriminator, which provides feedback to the radiance field reconstruction, thus improving realism in a 3D-consistent fashion. Thereby, rendering artifacts are repaired directly in the underlying 3D representation by imposing multi-view path rendering constraints. In addition, we condition a generator with multi-resolution NeRF renderings which is adversarially trained to further improve rendering quality. We demonstrate that our approach significantly improves rendering quality, e.g., nearly halving LPIPS scores compared to Nerfacto while at the same time improving PSNR by 1.4dB on the advanced indoor scenes of Tanks and Temples.
• Abstract（参考訳）: 神経放射野 (neural radiance fields, nerf) は目覚ましい新規な視野合成結果を示している。 我々は,現実的な画像を生成するためにGAN(Generative Adversarial Network)を活用し,NeRFを用いた3次元シーン再構成における現実性を高めることを目的としている。 この目的を達成するために, 敵判別器を用いてシーンのパッチ分布を学習し, 放射場再構成にフィードバックを与え, リアリズムを3d一貫性で改善する。 これにより、レンダリングアーチファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現で直接修復される。 さらに,レンダリング品質の向上のために,逆向きに訓練されたマルチレゾリューションNeRFレンダリングを用いたジェネレータを条件とした。 提案手法は,例えばNerfactoに比べてLPIPSスコアが半減するのに対して,PSNRを1.4dB向上させるなど,レンダリング品質を著しく向上することを示した。

関連論文リスト

• Drantal-NeRF: Diffusion-Based Restoration for Anti-aliasing Neural Radiance Field [10.225323718645022]
  Neural Radiance Field (NeRF) が生成したレンダリングにおけるアーティファクトのエイリアス化は、長く続くが複雑な問題である。 拡散を利用した抗エイリアス性神経放射場(Drantal-NeRF)の復元法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T08:32:13Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• RaFE: Generative Radiance Fields Restoration [38.602849644666165]
  NeRF(Neural Radiance Fields)は、新しいビュー合成と3次元再構成において大きな可能性を証明している。 従来のNeRF修復法は、回復の一般性を無視して、特定の劣化タイプに合わせて調整されている。 本稿では,様々な種類の劣化に対して適用可能な一般放射場復元パイプラインであるRaFEを提案する。
  論文  参考訳（メタデータ） (2024-04-04T17:59:50Z)
• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF [1.828790674925926]
  2Dエンハンサーは、いくつかの詳細を回復するために事前訓練することができるが、シーン幾何学には依存しない。 既存の3Dエンハンサーは、近隣のトレーニング画像から、一般化可能な方法で詳細を転送することができる。 両パラダイムの長所を生かしたニューラルレンダリングエンハンサーであるRoGUENeRFを提案する。
  論文  参考訳（メタデータ） (2024-03-18T16:11:42Z)
• Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations [34.836151514152746]
  本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。 結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。 AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
  論文  参考訳（メタデータ） (2023-10-27T03:52:08Z)
• PDRF: Progressively Deblurring Radiance Field for Fast and Robust Scene Reconstruction from Blurry Images [75.87721926918874]
  PDRF(Progressive Deblurring Radiance Field)について報告する。 PDRFは、ぼやけた画像から高品質な放射場を効率的に再構成する新しい手法である。 PDRF は以前の State-of-The-Art シーン再構成手法よりも15倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T03:42:29Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。