論文の概要: Deblur-NeRF: Neural Radiance Fields from Blurry Images
- arxiv url: http://arxiv.org/abs/2111.14292v1
- Date: Mon, 29 Nov 2021 01:49:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 18:08:31.835271
- Title: Deblur-NeRF: Neural Radiance Fields from Blurry Images
- Title(参考訳): Deblur-NeRF:Blurry画像からのニューラル放射場
- Authors: Li Ma and Xiaoyu Li and Jing Liao and Qi Zhang and Xuan Wang and Jue
Wang and Pedro V. Sander
- Abstract要約: ぼやけた入力から鋭いNeRFを復元する最初の方法であるDe-NeRFを提案する。
我々は、ぼやけの過程をシミュレートしてぼやけたビューを再構築する分析・バイ・ブルーのアプローチを採用する。
実写シーンにおいて最もよく見られる2種類のぼかしという,カメラモーションのぼかしとデフォーカスのぼかしの両方で,本手法が有効であることを示す。
- 参考スコア(独自算出の注目度): 30.709331199256376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has gained considerable attention recently for
3D scene reconstruction and novel view synthesis due to its remarkable
synthesis quality. However, image blurriness caused by defocus or motion, which
often occurs when capturing scenes in the wild, significantly degrades its
reconstruction quality. To address this problem, We propose Deblur-NeRF, the
first method that can recover a sharp NeRF from blurry input. We adopt an
analysis-by-synthesis approach that reconstructs blurry views by simulating the
blurring process, thus making NeRF robust to blurry inputs. The core of this
simulation is a novel Deformable Sparse Kernel (DSK) module that models
spatially-varying blur kernels by deforming a canonical sparse kernel at each
spatial location. The ray origin of each kernel point is jointly optimized,
inspired by the physical blurring process. This module is parameterized as an
MLP that has the ability to be generalized to various blur types. Jointly
optimizing the NeRF and the DSK module allows us to restore a sharp NeRF. We
demonstrate that our method can be used on both camera motion blur and defocus
blur: the two most common types of blur in real scenes. Evaluation results on
both synthetic and real-world data show that our method outperforms several
baselines. The synthetic and real datasets along with the source code will be
made publicly available to facilitate future research.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は3次元シーンの再構成や、その顕著な合成品質のために新しいビュー合成に注目されている。
しかし、野生のシーンを撮影する際にしばしば発生するデフォーカスや動きによる画像のぼやけは、その復元品質を著しく低下させる。
この問題に対処するため,我々は,ぼやけた入力から鋭いNeRFを復元する最初の方法であるDeblur-NeRFを提案する。
我々は、ぼかし過程をシミュレートすることで、ぼかしビューを再構築する分析バイシンセプションアプローチを採用し、それによってNeRFはぼかし入力に対して堅牢になる。
このシミュレーションのコアは、空間的に変化するぼやけたカーネルを各空間位置で変形させることでモデル化する、変形可能なスパースカーネル(DSK)モジュールである。
各カーネル点の線源は、物理的ぼやけたプロセスにインスパイアされて、共同最適化される。
このモジュールは、様々なブラータイプに一般化できるMDPとしてパラメータ化されている。
NeRFとDSKモジュールを併用することで、鋭いNeRFを復元することができる。
実写シーンにおいて最もよく見られる2種類のぼかしは、カメラモーションのぼかしとデフォーカスのぼかしの両方で使用できることを示す。
合成データと実世界データの両方における評価結果から,本手法が複数のベースラインを上回ることがわかった。
ソースコードとともに合成および実際のデータセットが公開され、将来の研究が促進される。
関連論文リスト
- PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - Improving Neural Radiance Fields with Depth-aware Optimization for Novel
View Synthesis [12.3338393483795]
SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。
SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。
2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
論文 参考訳(メタデータ) (2023-04-11T13:37:17Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-20T17:12:00Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳(メタデータ) (2022-11-23T10:53:37Z) - Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields [36.09829614806658]
ニューラルレージアンスフィールドの局所-グローバル登録法であるL2G-NeRFを提案する。
ピクセルワイドな局所アライメントは、ディープネットワークを介して教師なしの方法で学習される。
提案手法は,高忠実度再構築と大型カメラの誤認識の解消の観点から,現在の最先端技術よりも優れる。
論文 参考訳(メタデータ) (2022-11-21T14:43:16Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。
提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
論文 参考訳(メタデータ) (2021-12-03T07:33:47Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Deep Blind Video Super-resolution [85.79696784460887]
本稿では,ビデオSRを曖昧なカーネルモデリング手法により解くために,深層畳み込みニューラルネットワーク(CNN)モデルを提案する。
提案したCNNモデルは、動きのぼかし推定、動きの推定、遅延画像復元モジュールからなる。
提案アルゴリズムは, より微細な構造情報を用いて, より鮮明な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2020-03-10T13:43:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。