論文の概要: Deblurred Neural Radiance Field with Physical Scene Priors

• arxiv url: http://arxiv.org/abs/2211.12046v1
• Date: Tue, 22 Nov 2022 06:40:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 18:01:52.927787
• Title: Deblurred Neural Radiance Field with Physical Scene Priors
• Title（参考訳）: 物理シーンに先行する劣化性神経放射場
• Authors: Dogyoon Lee, Minhyeok Lee, Chajin Shin, Sangyoun Lee
• Abstract要約: 本稿では,2つの物理的先行条件に制約されたぼやけた画像に対するDP-NeRFフレームワークを提案する。 本研究では,2種類のぼかしを有する合成シーンと実シーンに対して,カメラモーションのぼかしとデフォーカスのぼかしの2種類の実験結果を示す。
• 参考スコア（独自算出の注目度）: 6.128295038453101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field(NeRF) has exhibited outstanding three-dimensional(3D) reconstruction quality via the novel view synthesis from multi-view images and paired calibrated camera parameters. However, previous NeRF-based systems have been demonstrated under strictly controlled settings, with little attention paid to less ideal scenarios, including with the presence of noise such as exposure, illumination changes, and blur. In particular, though blur frequently occurs in real situations, NeRF that can handle blurred images has received little attention. The few studies that have investigated NeRF for blurred images have not considered geometric and appearance consistency in 3D space, which is one of the most important factors in 3D reconstruction. This leads to inconsistency and the degradation of the perceptual quality of the constructed scene. Hence, this paper proposes a DP-NeRF, a novel clean NeRF framework for blurred images, which is constrained with two physical priors. These priors are derived from the actual blurring process during image acquisition by the camera. DP-NeRF proposes rigid blurring kernel to impose 3D consistency utilizing the physical priors and adaptive weight proposal to refine the color composition error in consideration of the relationship between depth and blur. We present extensive experimental results for synthetic and real scenes with two types of blur: camera motion blur and defocus blur. The results demonstrate that DP-NeRF successfully improves the perceptual quality of the constructed NeRF ensuring 3D geometric and appearance consistency. We further demonstrate the effectiveness of our model with comprehensive ablation analysis.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(nerf)は、多視点画像と対のキャリブレーションカメラパラメータからの新たなビュー合成により、優れた3次元(3d)再構成品質を示している。 しかし、従来のNeRFベースのシステムは厳密な制御の下で実証されており、露光、照明変更、ぼやけなどのノイズの存在など、より理想的なシナリオにはほとんど注意が払われていない。 特に、実際の状況ではしばしばぼやけが発生するが、ぼやけた画像に対処できるNeRFはほとんど注目されていない。 ぼやけた画像に対してNeRFを研究した数少ない研究は、3次元空間における幾何学的・外観的整合性を考慮していない。 これにより、構築されたシーンの知覚的品質が低下し、一貫性が損なわれる。 そこで本研究では,2つの物理的先行条件に制約された,ぼやけた画像のための新しいクリーンなNeRFフレームワークであるDP-NeRFを提案する。 これらの優先順位は、カメラによる画像取得中の実際のぼやけたプロセスに由来する。 DP-NeRFは、物理先行値と適応重みによる3次元整合性を付与し、深さとぼかしの関係を考慮した色組成誤差を改良する。 本研究では,2種類のぼかしを有する合成シーンと実シーン,すなわちカメラモーションのぼかしとデフォーカスのぼかしについて実験を行った。 その結果,DP-NeRFは3次元形状と外観の整合性を確保するため,構築したNeRFの知覚品質を向上させることができた。 さらに,包括的アブレーション解析によるモデルの有効性を示す。

関連論文リスト

• Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
  本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。 EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
  論文  参考訳（メタデータ） (2024-06-20T14:33:51Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis [99.06490355990354]
  本研究では,深度情報を利用して画素間のマルチビューとシングルビューの3D整合性を調整する手法であるConsistentNeRFを提案する。 提案手法は,PSNRが94%,SSIMが31%,LPIPSが31%,疎視条件下でのモデル性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2023-05-18T15:18:01Z)
• Dehazing-NeRF: Neural Radiance Fields from Hazy Images [13.92247691561793]
  画像入力からNRFを除去する手法であるDehazing-NeRFを提案する。 本研究では,大気散乱モデルを用いて,ハズ画像の物理像化過程をシミュレートする。 画像のデハージングと新しいビュー合成の両方において、単一像のデハージングとNeRFの単純な組み合わせよりも優れる。
  論文  参考訳（メタデータ） (2023-04-22T17:09:05Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• DehazeNeRF: Multiple Image Haze Removal and 3D Shape Reconstruction using Neural Radiance Fields [56.30120727729177]
  DehazeNeRFは,湿潤な環境下で頑健に動作するフレームワークとして紹介する。 提案手法は,複数視点のヘイズ除去,新しいビュー合成,既存手法が失敗する3次元形状再構成を成功させるものである。
  論文  参考訳（メタデータ） (2023-03-20T18:03:32Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
  我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。 BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。 提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
  論文  参考訳（メタデータ） (2022-11-23T10:53:37Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• T\"oRF: Time-of-Flight Radiance Fields for Dynamic Scene View Synthesis [32.878225196378374]
  連続波ToFカメラのための画像形成モデルに基づくニューラル表現を提案する。 提案手法は, 動的シーン再構成のロバスト性を改善し, 誤ったキャリブレーションや大きな動きに改善することを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。