論文の概要: Deblur-NeRF: Neural Radiance Fields from Blurry Images

• arxiv url: http://arxiv.org/abs/2111.14292v1
• Date: Mon, 29 Nov 2021 01:49:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 18:08:31.835271
• Title: Deblur-NeRF: Neural Radiance Fields from Blurry Images
• Title（参考訳）: Deblur-NeRF:Blurry画像からのニューラル放射場
• Authors: Li Ma and Xiaoyu Li and Jing Liao and Qi Zhang and Xuan Wang and Jue Wang and Pedro V. Sander
• Abstract要約: ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。 我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。 実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
• 参考スコア（独自算出の注目度）: 30.709331199256376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) has gained considerable attention recently for 3D scene reconstruction and novel view synthesis due to its remarkable synthesis quality. However, image blurriness caused by defocus or motion, which often occurs when capturing scenes in the wild, significantly degrades its reconstruction quality. To address this problem, We propose Deblur-NeRF, the first method that can recover a sharp NeRF from blurry input. We adopt an analysis-by-synthesis approach that reconstructs blurry views by simulating the blurring process, thus making NeRF robust to blurry inputs. The core of this simulation is a novel Deformable Sparse Kernel (DSK) module that models spatially-varying blur kernels by deforming a canonical sparse kernel at each spatial location. The ray origin of each kernel point is jointly optimized, inspired by the physical blurring process. This module is parameterized as an MLP that has the ability to be generalized to various blur types. Jointly optimizing the NeRF and the DSK module allows us to restore a sharp NeRF. We demonstrate that our method can be used on both camera motion blur and defocus blur: the two most common types of blur in real scenes. Evaluation results on both synthetic and real-world data show that our method outperforms several baselines. The synthetic and real datasets along with the source code will be made publicly available to facilitate future research.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は3次元シーンの再構成や、その顕著な合成品質のために新しいビュー合成に注目されている。 しかし、野生のシーンを撮影する際にしばしば発生するデフォーカスや動きによる画像のぼやけは、その復元品質を著しく低下させる。 この問題に対処するため,我々は,ぼやけた入力から鋭いNeRFを復元する最初の方法であるDeblur-NeRFを提案する。 我々は、ぼかし過程をシミュレートすることで、ぼかしビューを再構築する分析バイシンセプションアプローチを採用し、それによってNeRFはぼかし入力に対して堅牢になる。 このシミュレーションのコアは、空間的に変化するぼやけたカーネルを各空間位置で変形させることでモデル化する、変形可能なスパースカーネル(DSK)モジュールである。 各カーネル点の線源は、物理的ぼやけたプロセスにインスパイアされて、共同最適化される。 このモジュールは、様々なブラータイプに一般化できるMDPとしてパラメータ化されている。 NeRFとDSKモジュールを併用することで、鋭いNeRFを復元することができる。 実写シーンにおいて最もよく見られる2種類のぼかしは、カメラモーションのぼかしとデフォーカスのぼかしの両方で使用できることを示す。 合成データと実世界データの両方における評価結果から,本手法が複数のベースラインを上回ることがわかった。 ソースコードとともに合成および実際のデータセットが公開され、将来の研究が促進される。

関連論文リスト

• RS-NeRF: Neural Radiance Fields from Rolling Shutter Images [30.719764073204423]
  本稿では,RS歪みを用いた入力を用いて,新しいビューから通常の画像を合成する手法であるRS-NeRFを提案する。 これは、RS条件下で画像形成過程を再現する物理モデルを含む。 さらに,基本RS-NeRFモデルの本質的な欠点を,RS特性を掘り下げ,その機能を強化するアルゴリズムを開発することで解決する。
  論文  参考訳（メタデータ） (2024-07-14T16:27:11Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
  我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。 BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。 提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
  論文  参考訳（メタデータ） (2022-11-23T10:53:37Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)
• Deep Blind Video Super-resolution [85.79696784460887]
  本稿では,ビデオSRを曖昧なカーネルモデリング手法により解くために,深層畳み込みニューラルネットワーク(CNN)モデルを提案する。 提案したCNNモデルは、動きのぼかし推定、動きの推定、遅延画像復元モジュールからなる。 提案アルゴリズムは, より微細な構造情報を用いて, より鮮明な画像を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-03-10T13:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。