論文の概要: EventNeRF: Neural Radiance Fields from a Single Colour Event Camera
- arxiv url: http://arxiv.org/abs/2206.11896v1
- Date: Thu, 23 Jun 2022 17:59:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 14:21:08.964058
- Title: EventNeRF: Neural Radiance Fields from a Single Colour Event Camera
- Title(参考訳): EventNeRF: 単一カラーイベントカメラからのニューラル放射場
- Authors: Viktor Rudnev and Mohamed Elgharib and Christian Theobalt and
Vladislav Golyanik
- Abstract要約: 非同期イベントストリームからRGB空間の新規ビュー合成に適したNeRFを学習可能であることを示す。
我々のモデルは、RGB空間における挑戦的なシーンのレンダリングされた新しいビューの高い視覚的精度を実現する。
- 参考スコア(独自算出の注目度): 81.19234142730326
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning coordinate-based volumetric 3D scene representations such as neural
radiance fields (NeRF) has been so far studied assuming RGB or RGB-D images as
inputs. At the same time, it is known from the neuroscience literature that
human visual system (HVS) is tailored to process asynchronous brightness
changes rather than synchronous RGB images, in order to build and continuously
update mental 3D representations of the surroundings for navigation and
survival. Visual sensors that were inspired by HVS principles are event
cameras. Thus, events are sparse and asynchronous per-pixel brightness (or
colour channel) change signals. In contrast to existing works on neural 3D
scene representation learning, this paper approaches the problem from a new
perspective. We demonstrate that it is possible to learn NeRF suitable for
novel-view synthesis in the RGB space from asynchronous event streams. Our
models achieve high visual accuracy of the rendered novel views of challenging
scenes in the RGB space, even though they are trained with substantially fewer
data (i.e., event streams from a single event camera moving around the object)
and more efficiently (due to the inherent sparsity of event streams) than the
existing NeRF models trained with RGB images. We will release our datasets and
the source code, see https://4dqv.mpi-inf.mpg.de/EventNeRF/.
- Abstract(参考訳): ニューラルレイディアンスフィールド(NeRF)のような座標に基づく3次元シーンの3次元シーン表現の学習について,RGBやRGB-Dの画像を入力として検討した。
同時に、人間の視覚系(HVS)は、ナビゲーションと生存のために周囲の精神的な3D表現を構築し、継続的に更新するために、同期RGB画像よりも非同期の明るさ変化を処理するように調整されていることが神経科学文献から知られている。
HVS原則にインスパイアされた視覚センサは、イベントカメラである。
したがって、イベントはスパースであり、ピクセルごとの明るさ(またはカラーチャネル)の変化信号である。
ニューラル3次元シーン表現学習における既存の研究とは対照的に,本論文は新たな視点から問題にアプローチする。
非同期イベントストリームからRGB空間の新規ビュー合成に適したNeRFを学習できることを実証する。
我々のモデルは、RGB画像で訓練された既存のNeRFモデルよりも、かなり少ないデータ(例えば、オブジェクトの周りを移動する単一イベントカメラからのイベントストリーム)とより効率的にトレーニングされているにもかかわらず、RGB空間における挑戦シーンのレンダリングされた新しいビューの視覚的精度を高く達成している。
データセットとソースコードはhttps://4dqv.mpi-inf.mpg.de/EventNeRF/で公開します。
関連論文リスト
- An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳(メタデータ) (2024-01-06T08:09:54Z) - Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z) - Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳(メタデータ) (2023-09-15T14:19:36Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳(メタデータ) (2022-11-17T17:22:28Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - EventHands: Real-Time Neural 3D Hand Reconstruction from an Event Stream [80.15360180192175]
単眼ビデオからの3d手ポーズ推定は、長年の課題である。
我々は1つのイベントカメラ、すなわち明るさ変化に反応する非同期視覚センサを使用して、初めてそれに対処する。
従来,単一のrgbカメラや深度カメラでは表示されなかった特徴がある。
論文 参考訳(メタデータ) (2020-12-11T16:45:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。