論文の概要: Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion

• arxiv url: http://arxiv.org/abs/2309.08596v1
• Date: Fri, 15 Sep 2023 17:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 13:23:03.671402
• Title: Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion
• Title（参考訳）: 非均一運動下におけるスパース・ノイズイベントからのロバストe-NeRF
• Authors: Weng Fei Low and Gim Hee Lee
• Abstract要約: イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
• 参考スコア（独自算出の注目度）: 67.15935067326662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras offer many advantages over standard cameras due to their distinctive principle of operation: low power, low latency, high temporal resolution and high dynamic range. Nonetheless, the success of many downstream visual applications also hinges on an efficient and effective scene representation, where Neural Radiance Field (NeRF) is seen as the leading candidate. Such promise and potential of event cameras and NeRF inspired recent works to investigate on the reconstruction of NeRF from moving event cameras. However, these works are mainly limited in terms of the dependence on dense and low-noise event streams, as well as generalization to arbitrary contrast threshold values and camera speed profiles. In this work, we propose Robust e-NeRF, a novel method to directly and robustly reconstruct NeRFs from moving event cameras under various real-world conditions, especially from sparse and noisy events generated under non-uniform motion. It consists of two key components: a realistic event generation model that accounts for various intrinsic parameters (e.g. time-independent, asymmetric threshold and refractory period) and non-idealities (e.g. pixel-to-pixel threshold variation), as well as a complementary pair of normalized reconstruction losses that can effectively generalize to arbitrary speed profiles and intrinsic parameter values without such prior knowledge. Experiments on real and novel realistically simulated sequences verify our effectiveness. Our code, synthetic dataset and improved event simulator are public.
• Abstract（参考訳）: イベントカメラは、低消費電力、低レイテンシ、高時間分解能、高ダイナミックレンジという独特の動作原理のため、標準カメラよりも多くの利点がある。 それでも、多くの下流視覚アプリケーションの成功は、Neural Radiance Field(NeRF)が主要な候補と見なされる、効率的で効果的なシーン表現にも繋がる。 このようなイベントカメラとNeRFの約束とポテンシャルは、動くイベントカメラからNeRFを再構築する最近の研究にインスピレーションを与えた。 しかしながら、これらの作品は、主に密度と低雑音のイベントストリームへの依存、および任意のコントラスト閾値値とカメラ速度プロファイルへの一般化の点で制限されている。 本研究では,特に非一様動作下で発生するスパース・ノイズイベントから,様々な実環境下でのイベントカメラのNeRFを直接的かつ堅牢に再構成する新手法であるRobust e-NeRFを提案する。 様々な固有パラメータ(例えば、時間非依存、非対称しきい値、屈折周期)と非理想性(例えば、ピクセルからピクセルへのしきい値の変動)を考慮に入れた現実的なイベント生成モデルと、任意の速度プロファイルや固有パラメータ値にそのような事前知識なしで効果的に一般化できる正規化再構成損失の相補的なペアで構成されている。 現実的および斬新なシミュレートされたシーケンスの実験は、我々の有効性を検証する。 私たちのコード、合成データセット、改善されたイベントシミュレータはパブリックです。

関連論文リスト

• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• NeRF On-the-go: Exploiting Uncertainty for Distractor-free NeRFs in the Wild [55.154625718222995]
  我々は,複雑なシーンにおける新規ビューのロバストな合成を可能にする,シンプルで効果的な方法であるNeRF On-the-goを紹介する。 本手法は,最先端技術よりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-29T02:53:40Z)
• Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
  本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。 我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。 合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-28T19:06:37Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
  理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。 本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
  論文  参考訳（メタデータ） (2022-08-24T04:53:32Z)
• Ev-NeRF: Event Based Neural Radiance Field [8.78321125097048]
  Ev-NeRFは、イベントデータから派生したニューラル放射場である。 Ev-NeRFは、超音環境下での高強度画像再構成において、競合性能を実現する。
  論文  参考訳（メタデータ） (2022-06-24T18:27:30Z)
• EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning [75.17497166510083]
  イベントカメラは強度の変化を感知し、従来のカメラよりも多くの利点がある。 イベントストリームからの強度画像の再構成手法が提案されている。 出力は依然として低解像度(LR)、ノイズ、非現実的である。 本研究では、イベントストリームからLR画像を再構成し、画像品質を高め、EventSRと呼ばれる拡張イメージをアップサンプリングする、新しいエンドツーエンドパイプラインを提案する。
  論文  参考訳（メタデータ） (2020-03-17T10:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。