論文の概要: E-NeRF: Neural Radiance Fields from a Moving Event Camera
- arxiv url: http://arxiv.org/abs/2208.11300v1
- Date: Wed, 24 Aug 2022 04:53:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-25 13:08:56.021306
- Title: E-NeRF: Neural Radiance Fields from a Moving Event Camera
- Title（参考訳）: E-NeRF:移動イベントカメラからのニューラル放射場
- Authors: Simon Klenk, Lukas Koestler, Davide Scaramuzza, Daniel Cremers
- Abstract要約: 理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。
本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
- 参考スコア（独自算出の注目度）: 83.91656576631031
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating neural radiance fields (NeRFs) from ideal images has been
extensively studied in the computer vision community. Most approaches assume
optimal illumination and slow camera motion. These assumptions are often
violated in robotic applications, where images contain motion blur and the
scene may not have suitable illumination. This can cause significant problems
for downstream tasks such as navigation, inspection or visualization of the
scene. To alleviate these problems we present E-NeRF, the first method which
estimates a volumetric scene representation in the form of a NeRF from a
fast-moving event camera. Our method can recover NeRFs during very fast motion
and in high dynamic range conditions, where frame-based approaches fail. We
show that rendering high-quality frames is possible by only providing an event
stream as input. Furthermore, by combining events and frames, we can estimate
NeRFs of higher quality than state-of-the-art approaches under severe motion
blur. We also show that combining events and frames can overcome failure cases
of NeRF estimation in scenarios where only few input views are available,
without requiring additional regularization.
- Abstract（参考訳）: 理想画像からのニューラルレイディアンス場(NeRF)の推定はコンピュータビジョンコミュニティで広く研究されている。
ほとんどのアプローチは最適な照明とスローカメラの動きを仮定する。
これらの仮定は、画像に動きのぼやけがあり、シーンに適切な照明がないという、ロボットの応用においてしばしば破られる。
これは、ナビゲーション、検査、シーンの可視化といった下流タスクに重大な問題を引き起こす可能性がある。
これらの問題を緩和するために,高速なイベントカメラからNeRF形式でのボリュームシーン表現を推定する最初の方法であるE-NeRFを提案する。
提案手法は,非常に高速な動作およびフレームベースアプローチが失敗する高ダイナミックレンジ条件下で,NeRFを復元することができる。
入力としてイベントストリームを提供することで、高品質なフレームのレンダリングが可能になることを示す。
さらに, イベントとフレームを組み合わせることで, 高度な動きのぼかしの下での最先端手法よりも高い品質のNeRFを推定できる。
また、イベントとフレームを組み合わせることで、追加の正規化を必要とせず、入力ビューが少ないシナリオでNeRF推定の失敗を克服できることを示す。
関連論文リスト
- LuSh-NeRF: Lighting up and Sharpening NeRFs for Low-light Scenes [38.59630957057759]
我々は,手持ちの低照度画像群からクリーンでシャープなNeRFを再構成できるLush-NeRFという新しいモデルを提案する。
LuSh-NeRFはシーン表現からノイズを分離するScene-Noise Decompositionモジュールを含む。
実験により、LuSh-NeRFは既存のアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2024-11-11T07:22:31Z) - Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。
また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
論文 参考訳（メタデータ） (2024-09-26T15:57:20Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - BAD-NeRF: Bundle Adjusted Deblur Neural Radiance Fields [9.744593647024253]
我々は、新しいバンドルを調整した deblur Neural Radiance Fields (BAD-NeRF) を提案する。
BAD-NeRFは、激しい動きのぼやけた画像や不正確なカメラのポーズに対して堅牢である。
提案手法は、運動ぼかし画像の物理画像形成過程をモデル化し、NeRFのパラメータを共同で学習する。
論文 参考訳（メタデータ） (2022-11-23T10:53:37Z) - Robustifying the Multi-Scale Representation of Neural Radiance Fields [86.69338893753886]
実世界の画像の両問題を克服するために,頑健なマルチスケールニューラルラジアンス場表現手法を提案する。
提案手法は,NeRFにインスパイアされたアプローチを用いて,マルチスケール画像効果とカメラ位置推定問題に対処する。
例えば、日常的に取得したマルチビュー画像からオブジェクトの正確な神経表現を行うためには、カメラの正確な位置推定が不可欠であることを示す。
論文 参考訳（メタデータ） (2022-10-09T11:46:45Z) - Ev-NeRF: Event Based Neural Radiance Field [8.78321125097048]
Ev-NeRFは、イベントデータから派生したニューラル放射場である。
Ev-NeRFは、超音環境下での高強度画像再構成において、競合性能を実現する。
論文 参考訳（メタデータ） (2022-06-24T18:27:30Z) - Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual
Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。
NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。
我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-12-20T17:40:48Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。