論文の概要: Deformable Neural Radiance Fields using RGB and Event Cameras
- arxiv url: http://arxiv.org/abs/2309.08416v2
- Date: Mon, 25 Sep 2023 14:41:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 00:27:27.626030
- Title: Deformable Neural Radiance Fields using RGB and Event Cameras
- Title(参考訳): RGBとイベントカメラを用いた変形性ニューラルラジアンス場
- Authors: Qi Ma, Danda Pani Paudel, Ajad Chhatkuli, Luc Van Gool
- Abstract要約: 我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
- 参考スコア(独自算出の注目度): 65.40527279809474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling Neural Radiance Fields for fast-moving deformable objects from
visual data alone is a challenging problem. A major issue arises due to the
high deformation and low acquisition rates. To address this problem, we propose
to use event cameras that offer very fast acquisition of visual change in an
asynchronous manner. In this work, we develop a novel method to model the
deformable neural radiance fields using RGB and event cameras. The proposed
method uses the asynchronous stream of events and calibrated sparse RGB frames.
In our setup, the camera pose at the individual events required to integrate
them into the radiance fields remains unknown. Our method jointly optimizes
these poses and the radiance field. This happens efficiently by leveraging the
collection of events at once and actively sampling the events during learning.
Experiments conducted on both realistically rendered graphics and real-world
datasets demonstrate a significant benefit of the proposed method over the
state-of-the-art and the compared baseline.
This shows a promising direction for modeling deformable neural radiance
fields in real-world dynamic scenes.
- Abstract(参考訳): 視覚データのみから高速に動く変形可能な物体に対するニューラルレージアンスフィールドのモデリングは難しい問題である。
主な問題は、高い変形と低い獲得率のためである。
この問題に対処するため,我々は,視覚的な変化を非同期に高速に取得できるイベントカメラを提案する。
本研究では,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法はイベントの非同期ストリームとキャリブレーションされたスパースRGBフレームを用いる。
我々の設定では、カメラは放射場にそれらを組み込むために必要な個々の事象を撮影する。
本手法はこれらのポーズと放射場を協調的に最適化する。
これは、一度にイベントの収集を活用でき、学習中のイベントを積極的にサンプリングすることで効率よく起こる。
現実的にレンダリングされたグラフィックスと実世界のデータセットの両方で実施された実験は、提案手法が最先端と比較ベースラインに対して有益であることを示す。
これは、実世界の動的シーンにおける変形可能な神経放射フィールドのモデリングに有望な方向を示している。
関連論文リスト
- An Event-Oriented Diffusion-Refinement Method for Sparse Events
Completion [36.64856578682197]
イベントカメラまたはダイナミックビジョンセンサー(DVS)は、従来の強度フレームの代わりに輝度の変化に対する非同期応答を記録する。
本稿では,処理段階と出力形態の両方において,イベントデータのユニークな特性に適合するイベント完了シーケンス手法を提案する。
具体的には,イベントストリームを時間領域内の3次元イベントクラウドとして扱うとともに,高密度の雲を粗大に生成する拡散モデルを構築し,正確なタイムスタンプを復元して生データの時間分解を成功させる。
論文 参考訳(メタデータ) (2024-01-06T08:09:54Z) - Implicit Event-RGBD Neural SLAM [57.48879389141497]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルネットワークSLAMフレームワークであるtextbfEN-SLAM$を提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。
NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。
各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
論文 参考訳(メタデータ) (2023-10-03T21:08:41Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳(メタデータ) (2022-08-24T09:39:55Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳(メタデータ) (2022-06-23T17:59:53Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳(メタデータ) (2022-05-30T17:47:31Z) - DA4Event: towards bridging the Sim-to-Real Gap for Event Cameras using
Domain Adaptation [22.804074390795734]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
これらのセンサーの新規性は、その可能性を解き放つことができる大量のトレーニングデータの欠如をもたらす。
本稿では,フレームベースのイベント表現の特質を活かした新しいアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-03-23T18:09:20Z) - Matching Neuromorphic Events and Color Images via Adversarial Learning [49.447580124957966]
本稿では,イベントベース画像検索(EBIR)問題を提案する。
ニューロモルフィックイベント・カラー画像特徴学習(ECFL)によるEBIR問題に対処する。
また,EBIR問題の発展を促進するため,コミュニティN-UKbenchとEC180データセットにも貢献する。
論文 参考訳(メタデータ) (2020-03-02T02:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。