論文の概要: Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions

• arxiv url: http://arxiv.org/abs/2409.17988v1
• Date: Thu, 26 Sep 2024 15:57:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 16:26:02.162769
• Title: Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions
• Title（参考訳）: 高速・低光環境下での運動乱れ事象からの脱臭e-NeRF
• Authors: Weng Fei Low, Gim Hee Lee,
• Abstract要約: 動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
• 参考スコア（独自算出の注目度）: 56.84882059011291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The stark contrast in the design philosophy of an event camera makes it particularly ideal for operating under high-speed, high dynamic range and low-light conditions, where standard cameras underperform. Nonetheless, event cameras still suffer from some amount of motion blur, especially under these challenging conditions, in contrary to what most think. This is attributed to the limited bandwidth of the event sensor pixel, which is mostly proportional to the light intensity. Thus, to ensure that event cameras can truly excel in such conditions where it has an edge over standard cameras, it is crucial to account for event motion blur in downstream applications, especially reconstruction. However, none of the recent works on reconstructing Neural Radiance Fields (NeRFs) from events, nor event simulators, have considered the full effects of event motion blur. To this end, we propose, Deblur e-NeRF, a novel method to directly and effectively reconstruct blur-minimal NeRFs from motion-blurred events generated under high-speed motion or low-light conditions. The core component of this work is a physically-accurate pixel bandwidth model proposed to account for event motion blur under arbitrary speed and lighting conditions. We also introduce a novel threshold-normalized total variation loss to improve the regularization of large textureless patches. Experiments on real and novel realistically simulated sequences verify our effectiveness. Our code, event simulator and synthetic event dataset will be open-sourced.
• Abstract（参考訳）: イベントカメラの設計哲学における強烈なコントラストは、標準的なカメラの性能が劣る高速、高ダイナミックレンジ、低照度環境での運用に特に適している。 しかしそれでも、イベントカメラは、特にこうした困難な状況下では、多くの人が考えるものとは対照的に、ある程度の動きのぼやけに悩まされている。 これは、主に光強度に比例するイベントセンサピクセルの帯域幅が限られているためである。 したがって、イベントカメラが標準カメラよりも縁の長い状況で真に優れているようにするためには、下流のアプリケーション、特にリコンストラクションにおいてイベントの動きがぼやけていることを考慮することが不可欠である。 しかし,近年のニューラルラジアンス場(NeRF)の再構成やイベントシミュレータは,イベント運動のぼかしの完全な影響を考慮していない。 そこで本研究では,高速動作や低照度条件下で発生した動きブルイベントから,ぼやけた最小のNeRFを直接的かつ効果的に再構成する手法であるDeblur e-NeRFを提案する。 この研究のコアコンポーネントは、任意の速度と照明条件下でのイベントの動きのぼやけを考慮し、物理的に正確なピクセル帯域幅モデルである。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。 現実的および斬新なシミュレートされたシーケンスの実験は、我々の有効性を検証する。 コード、イベントシミュレータ、合成イベントデータセットがオープンソース化されます。

関連論文リスト

• EvenNICER-SLAM: Event-based Neural Implicit Encoding SLAM [69.83383687049994]
  密集した視覚的同時局所化とマッピングのための新しいアプローチである EvenNICER-SLAM を提案する。 EvenNICER-SLAMは、絶対輝度ではなく強度変化に対応するイベントカメラを内蔵している。 以上の結果から,イベントカメラによる高密度SLAMシステムの高速カメラ動作に対する堅牢性向上の可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-04T13:52:01Z)
• Deblurring Neural Radiance Fields with Event-driven Bundle Adjustment [23.15130387716121]
  本稿では,学習可能なポーズとNeRFパラメータを協調的に最適化するために,Bundle Adjustment for Deblurring Neural Radiance Fields (EBAD-NeRF)を提案する。 EBAD-NeRFは露光時間中に正確なカメラ軌跡を得ることができ、従来よりもシャープな3D表現を学習することができる。
  論文  参考訳（メタデータ） (2024-06-20T14:33:51Z)
• From Sim-to-Real: Toward General Event-based Low-light Frame Interpolation with Per-scene Optimization [29.197409507402465]
  低照度条件に適したシーンごとの最適化手法を提案する。 その結果,低照度環境における最先端性能が示された。
  論文  参考訳（メタデータ） (2024-06-12T11:15:59Z)
• Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
  本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。 我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。 合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-28T19:06:37Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
  理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。 本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
  論文  参考訳（メタデータ） (2022-08-24T04:53:32Z)
• Are High-Resolution Event Cameras Really Needed? [62.70541164894224]
  低照度条件や高速環境では、低解像度カメラは高解像度カメラより優れ、帯域幅は大幅に小さくなる。 この主張は,高解像度のイベントカメラが画素当たりのイベントレートが高いことを示す実証的証拠と理論的証拠の両方を提示する。 多くの場合、高解像度のイベントカメラは、これらの条件下では低解像度のセンサーに比べてタスク性能が低い。
  論文  参考訳（メタデータ） (2022-03-28T12:06:20Z)
• ESL: Event-based Structured Light [62.77144631509817]
  イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。 本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-30T15:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。