論文の概要: From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm
- arxiv url: http://arxiv.org/abs/2306.06388v2
- Date: Mon, 10 Jul 2023 08:13:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 18:04:48.339802
- Title: From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm
- Title（参考訳）: NeRFLiXからNeRFLiX++へ: 一般的なNeRFに依存しないレゾラーパラダイム
- Authors: Kun Zhou, Wenbo Li, Nianjuan Jiang, Xiaoguang Han, Jiangbo Lu
- Abstract要約: 我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
- 参考スコア（独自算出の注目度）: 43.88437488190036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural radiance fields (NeRF) have shown great success in novel view
synthesis. However, recovering high-quality details from real-world scenes is
still challenging for the existing NeRF-based approaches, due to the potential
imperfect calibration information and scene representation inaccuracy. Even
with high-quality training frames, the synthetic novel views produced by NeRF
models still suffer from notable rendering artifacts, such as noise and blur.
To address this, we propose NeRFLiX, a general NeRF-agnostic restorer paradigm
that learns a degradation-driven inter-viewpoint mixer. Specially, we design a
NeRF-style degradation modeling approach and construct large-scale training
data, enabling the possibility of effectively removing NeRF-native rendering
artifacts for deep neural networks. Moreover, beyond the degradation removal,
we propose an inter-viewpoint aggregation framework that fuses highly related
high-quality training images, pushing the performance of cutting-edge NeRF
models to entirely new levels and producing highly photo-realistic synthetic
views. Based on this paradigm, we further present NeRFLiX++ with a stronger
two-stage NeRF degradation simulator and a faster inter-viewpoint mixer,
achieving superior performance with significantly improved computational
efficiency. Notably, NeRFLiX++ is capable of restoring photo-realistic
ultra-high-resolution outputs from noisy low-resolution NeRF-rendered views.
Extensive experiments demonstrate the excellent restoration ability of
NeRFLiX++ on various novel view synthesis benchmarks.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、新規なビュー合成において大きな成功を収めている。
しかし,非完全キャリブレーション情報やシーン表現の不正確さのため,現実のシーンから高品質な詳細を復元することは,既存のNeRFベースのアプローチでは依然として困難である。
高品質なトレーニングフレームであっても、NeRFモデルで作られた合成された新しいビューは、ノイズやぼやけなどの顕著なレンダリングアーチファクトに悩まされている。
そこで本研究では,分解駆動の視点間ミキサーを学習するNeRFLiXを提案する。
特に,nerf型劣化モデリング手法を設計,大規模トレーニングデータを構築し,深層ニューラルネットワークのnerfネイティブレンダリングアーティファクトを効果的に除去することを可能にした。
さらに, 劣化除去の他に, 高度に関連性の高い訓練画像を融合し, 最先端のNeRFモデルの性能を全く新しいレベルに押し上げ, 高度光写実的合成ビューを生成する視点間集約フレームワークを提案する。
このパラダイムに基づき,より強固な2段階のnrf分解シミュレータと高速なビューポイント間ミキサーを備えたnerflix++をさらに提示し,計算効率を大幅に向上した優れた性能を実現する。
特に、NeRFLiX++はノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
様々な新しいビュー合成ベンチマークで、NeRFLiX++の優れた復元能力を実証した。
関連論文リスト
- NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - NeRF-VPT: Learning Novel View Representations with Neural Radiance
Fields via View Prompt Tuning [63.39461847093663]
本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。
提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。
NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
論文 参考訳（メタデータ） (2024-03-02T22:08:10Z) - RustNeRF: Robust Neural Radiance Field with Low-Quality Images [29.289408956815727]
実世界の高品質ニューラルネットワーク(NeRF)のためのRustNeRFを提案する。
実世界の入力下でのNeRFのロバスト性を改善するために,実世界の劣化モデリングを取り入れた3D対応前処理ネットワークを訓練する。
本稿では,画像の劣化と復元に伴う情報損失に対処するための,暗黙的な多視点ガイダンスを提案する。
論文 参考訳（メタデータ） (2024-01-06T16:54:02Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳（メタデータ） (2023-11-21T10:01:08Z) - Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。
NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。
当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
論文 参考訳（メタデータ） (2023-06-08T15:49:30Z) - NeRFLiX: High-Quality Neural View Synthesis by Learning a
Degradation-Driven Inter-viewpoint MiXer [44.220611552133036]
我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。
また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-13T08:36:30Z) - Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level
Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。
提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。
Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文 参考訳（メタデータ） (2022-07-04T02:27:07Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳（メタデータ） (2022-03-21T18:56:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。