論文の概要: Deformable Neural Radiance Fields using RGB and Event Cameras

• arxiv url: http://arxiv.org/abs/2309.08416v1
• Date: Fri, 15 Sep 2023 14:19:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 14:33:55.538121
• Title: Deformable Neural Radiance Fields using RGB and Event Cameras
• Title（参考訳）: RGBとイベントカメラを用いた変形性ニューラルラジアンス場
• Authors: Qi Ma, Danda Pani Paudel, Ajad Chhatkuli, Luc Van Gool
• Abstract要約: 我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。 現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
• 参考スコア（独自算出の注目度）: 65.40527279809474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling Neural Radiance Fields for fast-moving deformable objects from visual data alone is a challenging problem. A major issue arises due to the high deformation and low acquisition rates. To address this problem, we propose to use event cameras that offer very fast acquisition of visual change in an asynchronous manner. In this work, we develop a novel method to model the deformable neural radiance fields using RGB and event cameras. The proposed method uses the asynchronous stream of events and calibrated sparse RGB frames. In our setup, the camera pose at the individual events required to integrate them into the radiance fields remains unknown. Our method jointly optimizes these poses and the radiance field. This happens efficiently by leveraging the collection of events at once and actively sampling the events during learning. Experiments conducted on both realistically rendered graphics and real-world datasets demonstrate a significant benefit of the proposed method over the state-of-the-art and the compared baseline. This shows a promising direction for modeling deformable neural radiance fields in real-world dynamic scenes.
• Abstract（参考訳）: 視覚データのみから高速に動く変形可能な物体に対するニューラルレージアンスフィールドのモデリングは難しい問題である。 主な問題は、高い変形と低い獲得率のためである。 この問題に対処するため,我々は,視覚的な変化を非同期に高速に取得できるイベントカメラを提案する。 本研究では,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。 提案手法はイベントの非同期ストリームとキャリブレーションされたスパースRGBフレームを用いる。 我々の設定では、カメラは放射場にそれらを組み込むために必要な個々の事象を撮影する。 本手法はこれらのポーズと放射場を協調的に最適化する。 これは、一度にイベントの収集を活用でき、学習中のイベントを積極的にサンプリングすることで効率よく起こる。 現実的にレンダリングされたグラフィックスと実世界のデータセットの両方で実施された実験は、提案手法が最先端と比較ベースラインに対して有益であることを示す。 これは、実世界の動的シーンにおける変形可能な神経放射フィールドのモデリングに有望な方向を示している。

関連論文リスト

• E$^3$NeRF: Efficient Event-Enhanced Neural Radiance Fields from Blurry Images [25.304680391243537]
  E$3$NeRFの高効率イベント強化型NeRFを提案する。 イベントストリームからの時空間情報を利用して,時間的ぼやけから学習注意を均等に分散する。 合成データと実世界のデータの両方の実験により、E$3$NeRFはぼやけた画像から鋭いNeRFを効果的に学習できることを示した。
  論文  参考訳（メタデータ） (2024-08-03T18:47:31Z)
• Mitigating Motion Blur in Neural Radiance Fields with Events and Frames [21.052912896866953]
  本研究では,フレームやイベントを融合させることにより,カメラ動作下でのNeRF再構成を改善する新しい手法を提案する。 我々は、イベント二重積分を追加のモデルベースとして利用して、ぼやけた生成プロセスを明示的にモデル化する。 合成および実データから,提案手法は,フレームのみを使用する既存の劣化型NeRFよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-28T19:06:37Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• EvDNeRF: Reconstructing Event Data with Dynamic Neural Radiance Fields [80.94515892378053]
  EvDNeRFは、イベントデータを生成し、イベントベースの動的NeRFをトレーニングするためのパイプラインである。 NeRFは幾何学ベースの学習可能なレンダリングを提供するが、イベントの以前の作業は静的なシーンの再構築のみを考慮していた。 各種イベントのバッチサイズをトレーニングすることにより、微細な時間解像度でイベントのテスト時間予測を改善することができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T21:08:41Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Matching Neuromorphic Events and Color Images via Adversarial Learning [49.447580124957966]
  本稿では,イベントベース画像検索(EBIR)問題を提案する。 ニューロモルフィックイベント・カラー画像特徴学習(ECFL)によるEBIR問題に対処する。 また,EBIR問題の発展を促進するため,コミュニティN-UKbenchとEC180データセットにも貢献する。
  論文  参考訳（メタデータ） (2020-03-02T02:48:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。