論文の概要: SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera
- arxiv url: http://arxiv.org/abs/2404.06710v3
- Date: Fri, 12 Apr 2024 14:58:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 12:17:41.994079
- Title: SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera
- Title（参考訳）: SpikeNVS:スパイクカメラによるBlurry画像からの新たなビュー合成
- Authors: Gaole Dai, Zhenyu Wang, Qinwen Xu, Ming Lu, Wen Chen, Boxin Shi, Shanghang Zhang, Tiejun Huang,
- Abstract要約: 従来のRGBカメラは、動きがぼやけやすい。
イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。
我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
- 参考スコア（独自算出の注目度）: 78.20482568602993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the most critical factors in achieving sharp Novel View Synthesis (NVS) using neural field methods like Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) is the quality of the training images. However, Conventional RGB cameras are susceptible to motion blur. In contrast, neuromorphic cameras like event and spike cameras inherently capture more comprehensive temporal information, which can provide a sharp representation of the scene as additional training data. Recent methods have explored the integration of event cameras to improve the quality of NVS. The event-RGB approaches have some limitations, such as high training costs and the inability to work effectively in the background. Instead, our study introduces a new method that uses the spike camera to overcome these limitations. By considering texture reconstruction from spike streams as ground truth, we design the Texture from Spike (TfS) loss. Since the spike camera relies on temporal integration instead of temporal differentiation used by event cameras, our proposed TfS loss maintains manageable training costs. It handles foreground objects with backgrounds simultaneously. We also provide a real-world dataset captured with our spike-RGB camera system to facilitate future research endeavors. We conduct extensive experiments using synthetic and real-world datasets to demonstrate that our design can enhance novel view synthesis across NeRF and 3DGS. The code and dataset will be made available for public access.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)や3Dガウススプラッティング(3DGS)といったニューラルフィールド法を用いて、鋭いノベルビュー合成(NVS)を実現する上で最も重要な要因の1つは、トレーニング画像の品質である。
しかし、従来のRGBカメラは動きがぼやけやすい。
対照的に、イベントカメラやスパイクカメラのようなニューロモルフィックカメラは、本質的にはより包括的な時間的情報をキャプチャし、追加のトレーニングデータとしてシーンのシャープな表現を提供する。
近年,NVSの品質向上を目的としたイベントカメラの統合が検討されている。
イベント-RGBアプローチには、トレーニングコストの高さや、バックグラウンドで効果的に動作できないことなど、いくつかの制限がある。
その代わりに、スパイクカメラを使ってこれらの制限を克服する新しい方法を紹介した。
スパイクストリームからのテクスチャ再構築を真実として考慮し、スパイク(TfS)損失のテクスチャを設計する。
スパイクカメラは、イベントカメラの時間差ではなく、時間積分に依存しているため、提案したTfS損失は、管理可能なトレーニングコストを維持できる。
背景を持つ前景オブジェクトを同時に処理する。
また、スパイクRGBカメラシステムで捉えた現実世界のデータセットも提供し、将来の研究活動を促進する。
合成および実世界のデータセットを用いて広範な実験を行い、NeRFおよび3DGS間の新規なビュー合成を向上できることを実証する。
コードとデータセットはパブリックアクセスで利用できる。
関連論文リスト
- E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream [20.552076533208687]
スパイクカメラは、高時間分解能と高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。
スパイクストリームのみから3次元ガウス場を学習する手法であるSpikeGSを紹介する。
本手法は,移動型スパイクカメラで捉えた連続スパイクストリームから,微妙なテクスチャでビュー合成結果を再構成することができる。
論文 参考訳（メタデータ） (2024-09-23T16:28:41Z) - SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。
高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。
スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
論文 参考訳（メタデータ） (2024-07-14T03:19:30Z) - Spike-NeRF: Neural Radiance Field Based On Spike Camera [24.829344089740303]
スパイクデータから導出した最初のニューラルレーダランス場であるSpike-NeRFを提案する。
NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。
その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-25T04:05:23Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Urban Radiance Fields [77.43604458481637]
本研究では,都市屋外環境における世界地図作成によく利用されるスキャニングプラットフォームによって収集されたデータから3次元再構成と新しいビュー合成を行う。
提案手法は、制御された環境下での小さなシーンのための現実的な新しい画像の合成を実証したニューラルラジアンス場を拡張している。
これら3つのエクステンションはそれぞれ、ストリートビューデータの実験において、大幅なパフォーマンス改善を提供する。
論文 参考訳（メタデータ） (2021-11-29T15:58:16Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳（メタデータ） (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。