論文の概要: NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer

• arxiv url: http://arxiv.org/abs/2303.06919v2
• Date: Wed, 22 Mar 2023 09:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-23 22:49:06.873767
• Title: NeRFLiX: High-Quality Neural View Synthesis by Learning a Degradation-Driven Inter-viewpoint MiXer
• Title（参考訳）: nerflix: 分解駆動型視点間ミキサー学習による高品質ニューラルビュー合成
• Authors: Kun Zhou, Wenbo Li, Yi Wang, Tao Hu, Nianjuan Jiang, Xiaoguang Han, Jiangbo Lu
• Abstract要約: 我々は、分解駆動の視点間ミキサーを学習し、NeRFLiXを提案する。 また,高度に関連した高品質な訓練画像の融合が可能な視点間集約フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 44.220611552133036
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural radiance fields (NeRF) show great success in novel view synthesis. However, in real-world scenes, recovering high-quality details from the source images is still challenging for the existing NeRF-based approaches, due to the potential imperfect calibration information and scene representation inaccuracy. Even with high-quality training frames, the synthetic novel views produced by NeRF models still suffer from notable rendering artifacts, such as noise, blur, etc. Towards to improve the synthesis quality of NeRF-based approaches, we propose NeRFLiX, a general NeRF-agnostic restorer paradigm by learning a degradation-driven inter-viewpoint mixer. Specially, we design a NeRF-style degradation modeling approach and construct large-scale training data, enabling the possibility of effectively removing NeRF-native rendering artifacts for existing deep neural networks. Moreover, beyond the degradation removal, we propose an inter-viewpoint aggregation framework that is able to fuse highly related high-quality training images, pushing the performance of cutting-edge NeRF models to entirely new levels and producing highly photo-realistic synthetic views.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、新規なビュー合成において大きな成功を収めた。 しかし, 実世界の場面では, 音源画像から高品質なディテールを復元することは, 既存のnrfベースの手法では依然として困難であり, 不完全なキャリブレーション情報やシーン表現の不正確性が指摘されている。 高品質なトレーニングフレームであっても、NeRFモデルで作られた合成ノベルビューは、ノイズやぼやけなどの顕著なレンダリングアーティファクトに悩まされている。 nerfベースの手法の合成品質を向上させるために,分解駆動型視点間ミキサーを学習し,一般的なnerf非依存リカバリパラダイムであるnerflixを提案する。 特に, nerf型劣化モデリング手法を設計, 大規模トレーニングデータを構築し, 既存のディープニューラルネットワークに対して, nerfネイティブレンダリングアーティファクトを効果的に除去することを可能にする。 さらに, 劣化除去以外にも, 高画質トレーニング画像の融合が可能な視点間集約フレームワークを提案し, 最先端のnrfモデルの性能を全く新しいレベルに押し上げ, 高度にフォトリアリスティックな合成ビューを生成する。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• RustNeRF: Robust Neural Radiance Field with Low-Quality Images [29.289408956815727]
  実世界の高品質ニューラルネットワーク(NeRF)のためのRustNeRFを提案する。 実世界の入力下でのNeRFのロバスト性を改善するために,実世界の劣化モデリングを取り入れた3D対応前処理ネットワークを訓練する。 本稿では,画像の劣化と復元に伴う情報損失に対処するための,暗黙的な多視点ガイダンスを提案する。
  論文  参考訳（メタデータ） (2024-01-06T16:54:02Z)
• Self-Evolving Neural Radiance Fields [31.124406548504794]
  我々は、自己学習フレームワークを神経放射場(NeRF)に適用する、SE-NeRF(Self-Evolving Neural Radiance Fields)と呼ばれる新しいフレームワークを提案する。 数発のNeRFを教師向けフレームワークに定式化し、ネットワークを誘導し、より堅牢なシーン表現を学習する。 既存のモデルに自己学習フレームワークを適用することで、レンダリング画像の品質が向上し、複数の設定で最先端のパフォーマンスが達成できることを示し、評価する。
  論文  参考訳（メタデータ） (2023-12-02T02:28:07Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• Benchmarking Robustness in Neural Radiance Fields [22.631924719238963]
  我々は、異なる種類の汚職が存在する場合の、NeRFに基づく新規ビュー合成アルゴリズムの堅牢性を分析する。 我々は、NeRFベースのモデルは、汚損の有無で著しく劣化しており、画像認識モデルとは異なる汚損に対してより敏感であることを示した。
  論文  参考訳（メタデータ） (2023-01-10T17:01:12Z)
• SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction [147.9379707578091]
  NeRFmmは、共同最適化タスクを扱うNeRF(Neural Radiance Fields)である。 NeRFmmは正確なシーン合成とポーズ推定を行うが、難しいシーンで完全に注釈付けされたベースラインを上回るのに苦戦している。 放射光マッピングにおける正弦波活性化を利用する正弦波ニューラルレイディアンス場(SiNeRF)と、効率よく光束を選択するための新しい混合領域サンプリング(MRS)を提案する。
  論文  参考訳（メタデータ） (2022-10-10T10:47:51Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。