論文の概要: Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view Event Cameras

• arxiv url: http://arxiv.org/abs/2412.06770v1
• Date: Mon, 09 Dec 2024 18:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:54:16.677574
• Title: Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view Event Cameras
• Title（参考訳）: ダイナミックイベントNeRF:マルチビューイベントカメラから一般的なダイナミックシーンを再構築する
• Authors: Viktor Rudnev, Gereon Fox, Mohamed Elgharib, Christian Theobalt, Vladislav Golyanik,
• Abstract要約: 動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。 照明が悪く、動きが速い場合には特に困難である。 本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
• 参考スコア（独自算出の注目度）: 69.65147723239153
• License:
• Abstract: Volumetric reconstruction of dynamic scenes is an important problem in computer vision. It is especially challenging in poor lighting and with fast motion. It is partly due to the limitations of RGB cameras: To capture fast motion without much blur, the framerate must be increased, which in turn requires more lighting. In contrast, event cameras, which record changes in pixel brightness asynchronously, are much less dependent on lighting, making them more suitable for recording fast motion. We hence propose the first method to spatiotemporally reconstruct a scene from sparse multi-view event streams and sparse RGB frames. We train a sequence of cross-faded time-conditioned NeRF models, one per short recording segment. The individual segments are supervised with a set of event- and RGB-based losses and sparse-view regularisation. We assemble a real-world multi-view camera rig with six static event cameras around the object and record a benchmark multi-view event stream dataset of challenging motions. Our work outperforms RGB-based baselines, producing state-of-the-art results, and opens up the topic of multi-view event-based reconstruction as a new path for fast scene capture beyond RGB cameras. The code and the data will be released soon at https://4dqv.mpi-inf.mpg.de/DynEventNeRF/
• Abstract（参考訳）: 動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。 照明が悪く、動きが速い場合には特に困難である。 それは、RGBカメラの限界によってある: あまりぼやけずに高速な動きを捉えるには、フレームレートを増やさなければならない。 対照的に、画素の明るさの変化を非同期に記録するイベントカメラは、照明に依存しないため、高速な動きを記録するのにより適している。 そこで我々は,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時空間的に再構成する最初の手法を提案する。 我々は、短い記録セグメント毎に1つずつ、クロスフェードされた時間条件のNeRFモデルを訓練する。 個々のセグメントには、イベントベースの損失とRGBベースの損失のセットと、スパースビューのレギュラー化が管理されている。 オブジェクトの周りに6つの静的イベントカメラを備えた実世界のマルチビューカメラリグを組み立て、挑戦的な動作のベンチマークマルチビューイベントストリームデータセットを記録する。 我々の研究は、RGBベースのベースラインを上回り、最先端の結果を生み出し、RGBカメラを超えた高速シーンキャプチャのための新しいパスとして、マルチビューイベントベースの再構築というトピックを開放する。 コードとデータは間もなくhttps://4dqv.mpi-inf.mpg.de/DynEventNeRF/でリリースされる。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
  EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。 EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
  論文  参考訳（メタデータ） (2024-03-12T06:04:50Z)
• Event-based Continuous Color Video Decompression from Single Frames [36.4263932473053]
  本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Event-based Camera Tracker by $\nabla$t NeRF [11.572930535988325]
  ニューラルレイディアンス場(NeRF)として表現されるシーンのスパース事象と時間勾配の誤差を最小化することにより、カメラのポーズを復元できることを示す。 スパースイベントの観測を用いてポーズ更新を実現するイベントベースのカメラポーズトラッキングフレームワークTeGRAを提案する。
  論文  参考訳（メタデータ） (2023-04-07T16:03:21Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)
• Event-Based Dense Reconstruction Pipeline [5.341354397748495]
  イベントカメラは、従来のカメラとは異なる新しいタイプのセンサーである。 深層学習は、イベントからの強度画像の再構成に使用される。 動きからの構造(SfM)は、カメラ固有の、外在的な、スパースな点雲を推定するために用いられる。
  論文  参考訳（メタデータ） (2022-03-23T08:37:04Z)
• E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action Recognition [21.199869051111367]
  イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。 イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
  論文  参考訳（メタデータ） (2021-12-07T09:43:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。