論文の概要: E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images
- arxiv url: http://arxiv.org/abs/2408.01840v1
- Date: Sat, 3 Aug 2024 18:47:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 18:11:11.443114
- Title: E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images
- Title（参考訳）: E$^3$NeRF:Blurry画像からの高効率事象強調ニューラル放射場
- Authors: Yunshan Qi, Jia Li, Yifan Zhao, Yu Zhang, Lin Zhu,
- Abstract要約: E$3$NeRFの高効率イベント強化型NeRFを提案する。
イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。
合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
- 参考スコア（独自算出の注目度）: 25.304680391243537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) achieve impressive rendering performance by learning volumetric 3D representation from several images of different views. However, it is difficult to reconstruct a sharp NeRF from blurry input as it often occurs in the wild. To solve this problem, we propose a novel Efficient Event-Enhanced NeRF (E$^3$NeRF) by utilizing the combination of RGB images and event streams. To effectively introduce event streams into the neural volumetric representation learning process, we propose an event-enhanced blur rendering loss and an event rendering loss, which guide the network via modeling the real blur process and event generation process, respectively. Specifically, we leverage spatial-temporal information from the event stream to evenly distribute learning attention over temporal blur while simultaneously focusing on blurry texture through the spatial attention. Moreover, a camera pose estimation framework for real-world data is built with the guidance of the events to generalize the method to practical applications. Compared to previous image-based or event-based NeRF, our framework makes more profound use of the internal relationship between events and images. Extensive experiments on both synthetic data and real-world data demonstrate that E$^3$NeRF can effectively learn a sharp NeRF from blurry images, especially in non-uniform motion and low-light scenes.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、異なる視点の複数の画像からボリューム3D表現を学習することで、印象的なレンダリング性能を達成する。
しかし、野生でしばしば発生するため、ぼやけた入力から鋭いNeRFを再構築することは困難である。
そこで本研究では,RGB画像とイベントストリームを組み合わせることで,効率的なイベント強調型NeRF(E$^3$NeRF)を提案する。
イベントストリームをニューラルネットワークのボリューム表現学習プロセスに効果的に導入するために,実際のぼかしプロセスとイベント生成プロセスをモデル化してネットワークを誘導する,イベント拡張型ぼかしレンダリング損失とイベントレンダリング損失を提案する。
具体的には、イベントストリームからの時空間情報を活用して、空間的注意を通してぼやけたテクスチャに焦点を合わせながら、時間的ぼやけに学習注意を均等に分散する。
さらに、実世界のデータに対するカメラポーズ推定フレームワークを構築し、実際の応用にメソッドを一般化するイベントの誘導を行う。
従来の画像ベースやイベントベースのNeRFと比較して、私たちのフレームワークは、イベントと画像間の内部関係をより深く利用しています。
E$^3$NeRFは、特に不均一な動きや低照度シーンにおいて、ぼやけた画像から鋭いNeRFを効果的に学習できることを示す。
関連論文リスト
- Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。
EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
論文 参考訳（メタデータ） (2024-06-20T14:33:51Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳（メタデータ） (2023-10-03T21:08:41Z) - Learning Parallax for Stereo Event-based Motion Deblurring [8.201943408103995]
既存のアプローチは、インテンシティ・イメージとイベントの間の完全なピクセルワイド・アライメントに依存している。
我々は,Stereoイベントと強度カメラ(St-EDNet)を併用したイベントベース動作のNetwork of Event-based motionを提案する。
我々はSTEIC(Stereo Event and Intensity Cameras)を用いた新しいデータセットを構築し、現実世界のイベント、強度画像、密度の異なるマップを含む。
論文 参考訳（メタデータ） (2023-09-18T06:51:41Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳（メタデータ） (2023-09-15T14:19:36Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳（メタデータ） (2022-11-23T10:53:37Z) - E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。
本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
論文 参考訳（メタデータ） (2022-08-24T04:53:32Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - EventSR: From Asynchronous Events to Image Reconstruction, Restoration,
and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。
イベントストリームからの強度画像の再構成手法が提案されている。
出力は依然として低解像度(LR)、ノイズ、非現実的である。
本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
論文 参考訳（メタデータ） (2020-03-17T10:58:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。