論文の概要: Spike-NeRF: Neural Radiance Field Based On Spike Camera

• arxiv url: http://arxiv.org/abs/2403.16410v1
• Date: Mon, 25 Mar 2024 04:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:07:18.763617
• Title: Spike-NeRF: Neural Radiance Field Based On Spike Camera
• Title（参考訳）: Spike-NeRF:スパイクカメラによるニューラル放射場
• Authors: Yijia Guo, Yuanxi Bai, Liwen Hu, Mianzhi Liu, Ziyi Guo, Lei Ma, Tiejun Huang,
• Abstract要約: スパイクデータから導出した最初のニューラルレーダランス場であるSpike-NeRFを提案する。 NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。 その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 24.829344089740303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a neuromorphic sensor with high temporal resolution, spike cameras offer notable advantages over traditional cameras in high-speed vision applications such as high-speed optical estimation, depth estimation, and object tracking. Inspired by the success of the spike camera, we proposed Spike-NeRF, the first Neural Radiance Field derived from spike data, to achieve 3D reconstruction and novel viewpoint synthesis of high-speed scenes. Instead of the multi-view images at the same time of NeRF, the inputs of Spike-NeRF are continuous spike streams captured by a moving spike camera in a very short time. To reconstruct a correct and stable 3D scene from high-frequency but unstable spike data, we devised spike masks along with a distinctive loss function. We evaluate our method qualitatively and numerically on several challenging synthetic scenes generated by blender with the spike camera simulator. Our results demonstrate that Spike-NeRF produces more visually appealing results than the existing methods and the baseline we proposed in high-speed scenes. Our code and data will be released soon.
• Abstract（参考訳）: 時間分解能の高いニューロモルフィックセンサとして、スパイクカメラは、高速光推定、深度推定、物体追跡などの高速視覚応用において、従来のカメラよりも顕著な利点がある。 スパイクカメラの成功に触発されて、スパイクデータから導出される最初のニューラルレージアンス場であるSpike-NeRFを提案し、高速シーンの3次元再構成と新しい視点合成を実現した。 NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。 高周波だが不安定なスパイクデータから正しい安定な3Dシーンを再構成するために, スパイクマスクを特徴的損失関数とともに考案した。 本研究では,スパイクカメラシミュレータを用いたミキサーによる合成シーンの定性的・数値的評価を行った。 その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。 コードとデータはまもなく公開されるでしょう。

関連論文リスト

• SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream [20.552076533208687]
  スパイクカメラは、高時間分解能と高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。 スパイクストリームのみから3次元ガウス場を学習する手法であるSpikeGSを紹介する。 本手法は,移動型スパイクカメラで捉えた連続スパイクストリームから,微妙なテクスチャでビュー合成結果を再構成することができる。
  論文  参考訳（メタデータ） (2024-09-23T16:28:41Z)
• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
  スパイクカメラは、標準的なカメラよりも明確な利点がある。 スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。 スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
  論文  参考訳（メタデータ） (2024-03-17T13:51:25Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Spike Stream Denoising via Spike Camera Simulation [64.11994763727631]
  本稿では,スパイクカメラのユニークな回路に基づくシステマティックノイズモデルを提案する。 スパイクストリームをデノナイジングするための最初のベンチマークは、クリアな(ノイズの多い)スパイクストリームを含む。 実験の結果、DnSSは提案されたベンチマークで有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-04-06T14:59:48Z)
• E-NeRF: Neural Radiance Fields from a Moving Event Camera [83.91656576631031]
  理想的な画像からニューラルレイディアンス場(NeRF)を推定する手法はコンピュータビジョンコミュニティで広く研究されている。 本稿では,高速なイベントカメラからNeRFの形式でボリュームシーンを推定する最初の方法であるE-NeRFを提案する。
  論文  参考訳（メタデータ） (2022-08-24T04:53:32Z)
• Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
  我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。 我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2021-12-20T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。