論文の概要: EventNeRF: Neural Radiance Fields from a Single Colour Event Camera

• arxiv url: http://arxiv.org/abs/2206.11896v1
• Date: Thu, 23 Jun 2022 17:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 14:21:08.964058
• Title: EventNeRF: Neural Radiance Fields from a Single Colour Event Camera
• Title（参考訳）: EventNeRF: 単一カラーイベントカメラからのニューラル放射場
• Authors: Viktor Rudnev and Mohamed Elgharib and Christian Theobalt and Vladislav Golyanik
• Abstract要約: 非同期イベントストリームからRGB空間の新規ビュー合成に適したNeRFを学習可能であることを示す。 我々のモデルは、RGB空間における挑戦的なシーンのレンダリングされた新しいビューの高い視覚的精度を実現する。
• 参考スコア（独自算出の注目度）: 81.19234142730326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning coordinate-based volumetric 3D scene representations such as neural radiance fields (NeRF) has been so far studied assuming RGB or RGB-D images as inputs. At the same time, it is known from the neuroscience literature that human visual system (HVS) is tailored to process asynchronous brightness changes rather than synchronous RGB images, in order to build and continuously update mental 3D representations of the surroundings for navigation and survival. Visual sensors that were inspired by HVS principles are event cameras. Thus, events are sparse and asynchronous per-pixel brightness (or colour channel) change signals. In contrast to existing works on neural 3D scene representation learning, this paper approaches the problem from a new perspective. We demonstrate that it is possible to learn NeRF suitable for novel-view synthesis in the RGB space from asynchronous event streams. Our models achieve high visual accuracy of the rendered novel views of challenging scenes in the RGB space, even though they are trained with substantially fewer data (i.e., event streams from a single event camera moving around the object) and more efficiently (due to the inherent sparsity of event streams) than the existing NeRF models trained with RGB images. We will release our datasets and the source code, see https://4dqv.mpi-inf.mpg.de/EventNeRF/.
• Abstract（参考訳）: ニューラルレイディアンスフィールド(NeRF)のような座標に基づく3次元シーンの3次元シーン表現の学習について,RGBやRGB-Dの画像を入力として検討した。 同時に、人間の視覚系(HVS)は、ナビゲーションと生存のために周囲の精神的な3D表現を構築し、継続的に更新するために、同期RGB画像よりも非同期の明るさ変化を処理するように調整されていることが神経科学文献から知られている。 HVS原則にインスパイアされた視覚センサは、イベントカメラである。 したがって、イベントはスパースであり、ピクセルごとの明るさ(またはカラーチャネル)の変化信号である。 ニューラル3次元シーン表現学習における既存の研究とは対照的に,本論文は新たな視点から問題にアプローチする。 非同期イベントストリームからRGB空間の新規ビュー合成に適したNeRFを学習できることを実証する。 我々のモデルは、RGB画像で訓練された既存のNeRFモデルよりも、かなり少ないデータ(例えば、オブジェクトの周りを移動する単一イベントカメラからのイベントストリーム)とより効率的にトレーニングされているにもかかわらず、RGB空間における挑戦シーンのレンダリングされた新しいビューの視覚的精度を高く達成している。 データセットとソースコードはhttps://4dqv.mpi-inf.mpg.de/EventNeRF/で公開します。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
  E$3$NeRFの高効率イベント強化型NeRFを提案する。 イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。 合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
  論文  参考訳（メタデータ） (2024-08-03T18:47:31Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• An Event-Oriented Diffusion-Refinement Method for Sparse Events Completion [36.64856578682197]
  イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。 本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。 具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
  論文  参考訳（メタデータ） (2024-01-06T08:09:54Z)
• Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
  本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
  我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
  論文  参考訳（メタデータ） (2023-09-15T14:19:36Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
  単眼ビデオからの3d手ポーズ推定は、長年の課題である。 我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。 従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
  論文  参考訳（メタデータ） (2020-12-11T16:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。