論文の概要: SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream
- arxiv url: http://arxiv.org/abs/2409.15176v1
- Date: Mon, 23 Sep 2024 16:28:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 14:13:28.230359
- Title: SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream
- Title（参考訳）: SpikeGS: 継続的スパイクストリームから3Dガウス場を学ぶ
- Authors: Jinze Yu, Xi Peng, Zhengda Lu, Laurent Kneip, Yiqun Wang,
- Abstract要約: スパイクカメラは、高時間分解能と高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。
スパイクストリームのみから3次元ガウス場を学習する最初の方法であるSpikeGSを紹介する。
本手法は,移動型スパイクカメラで捉えた連続スパイクストリームから,微妙なテクスチャでビュー合成結果を再構成することができる。
- 参考スコア（独自算出の注目度）: 25.962791348610587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A spike camera is a specialized high-speed visual sensor that offers advantages such as high temporal resolution and high dynamic range compared to conventional frame cameras. These features provide the camera with significant advantages in many computer vision tasks. However, the tasks of 3D reconstruction and novel view synthesis based on spike cameras remain underdeveloped. Although there are existing methods for learning neural radiance fields from spike stream, they either lack robustness in extremely noisy, low-quality lighting conditions or suffer from high computational complexity due to the deep fully connected neural networks and ray marching rendering strategies used in neural radiance fields, making it difficult to recover fine texture details. In contrast, the latest advancements in 3DGS have achieved high-quality real-time rendering by optimizing the point cloud representation into Gaussian ellipsoids. Building on this, we introduce SpikeGS, the first method to learn 3D Gaussian fields solely from spike stream. We designed a differentiable spike stream rendering framework based on 3DGS, incorporating noise embedding and spiking neurons. By leveraging the multi-view consistency of 3DGS and the tile-based multi-threaded parallel rendering mechanism, we achieved high-quality real-time rendering results. Additionally, we introduced a spike rendering loss function that generalizes under varying illumination conditions. Our method can reconstruct view synthesis results with fine texture details from a continuous spike stream captured by a moving spike camera, while demonstrating high robustness in extremely noisy low-light scenarios. Experimental results on both real and synthetic datasets demonstrate that our method surpasses existing approaches in terms of rendering quality and speed. Our code will be available at https://github.com/520jz/SpikeGS.
- Abstract（参考訳）: スパイクカメラは、従来のフレームカメラと比較して、高時間分解能や高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。
これらの機能は、多くのコンピュータビジョンタスクにおいて、カメラに大きなアドバンテージを提供する。
しかし、スパイクカメラに基づく3次元再構成と新しいビュー合成の課題は未開発のままである。
スパイクストリームからニューラルラディアンスフィールドを学習する方法は存在するが、非常にノイズの多い低品質の照明条件では堅牢性が欠如しているか、あるいはニューラルラディアンスフィールドで使用されるディープ完全連結ニューラルネットワークとレイマーチングレンダリング戦略により、高い計算複雑性に悩まされているため、きめ細かいテクスチャの詳細を回復することは困難である。
対照的に、3DGSの最新の進歩は、点雲表現をガウス楕円体に最適化することで、高品質なリアルタイムレンダリングを実現している。
これに基づいて,スパイクストリームのみから3次元ガウス場を学習する最初の方法であるSpikeGSを紹介する。
ノイズ埋め込みとスパイクニューロンを組み込んだ3DGSに基づく差別化可能なスパイクストリームレンダリングフレームワークを設計した。
3DGSのマルチビュー一貫性とタイルベースのマルチスレッド並列レンダリング機構を利用して,高品質なリアルタイムレンダリング結果を得た。
さらに、様々な照明条件下で一般化するスパイクレンダリング損失関数を導入した。
提案手法は, 移動型スパイクカメラで捉えた連続的なスパイクストリームから, 極めてノイズの多い低照度シナリオにおいて高いロバスト性を示しながら, 微視的なテクスチャ情報を用いて, ビュー合成結果を再構成することができる。
実データと合成データの両方に対する実験結果から,本手法はレンダリング品質と速度の面で既存の手法を超越していることが示された。
私たちのコードはhttps://github.com/520jz/SpikeGS.comで公開されます。
関連論文リスト
- 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。
3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
論文 参考訳（メタデータ） (2024-11-19T11:59:54Z) - SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。
高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。
スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
論文 参考訳（メタデータ） (2024-07-14T03:19:30Z) - SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
従来のRGBカメラは、動きがぼやけやすい。
イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。
我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
論文 参考訳（メタデータ） (2024-04-10T03:31:32Z) - Spike-NeRF: Neural Radiance Field Based On Spike Camera [24.829344089740303]
スパイクデータから導出した最初のニューラルレーダランス場であるSpike-NeRFを提案する。
NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。
その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2024-03-25T04:05:23Z) - BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。
提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-03-18T14:43:04Z) - Deblurring 3D Gaussian Splatting [7.315329140016319]
MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。
Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
論文 参考訳（メタデータ） (2024-01-01T18:23:51Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。
いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
論文 参考訳（メタデータ） (2023-08-08T06:37:06Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳（メタデータ） (2023-05-03T17:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。