論文の概要: SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream

• arxiv url: http://arxiv.org/abs/2409.15176v3
• Date: Mon, 30 Sep 2024 12:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 21:59:29.463112
• Title: SpikeGS: Learning 3D Gaussian Fields from Continuous Spike Stream
• Title（参考訳）: SpikeGS: 継続的スパイクストリームから3Dガウス場を学ぶ
• Authors: Jinze Yu, Xin Peng, Zhengda Lu, Laurent Kneip, Yiqun Wang,
• Abstract要約: スパイクカメラは、高時間分解能と高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。 スパイクストリームのみから3次元ガウス場を学習する手法であるSpikeGSを紹介する。 本手法は,移動型スパイクカメラで捉えた連続スパイクストリームから,微妙なテクスチャでビュー合成結果を再構成することができる。
• 参考スコア（独自算出の注目度）: 20.552076533208687
• License:
• Abstract: A spike camera is a specialized high-speed visual sensor that offers advantages such as high temporal resolution and high dynamic range compared to conventional frame cameras. These features provide the camera with significant advantages in many computer vision tasks. However, the tasks of 3D reconstruction and novel view synthesis based on spike cameras remain underdeveloped. Although there are existing methods for learning neural radiance fields from spike stream, they either lack robustness in extremely noisy, low-quality lighting conditions or suffer from high computational complexity due to the deep fully connected neural networks and ray marching rendering strategies used in neural radiance fields, making it difficult to recover fine texture details. In contrast, the latest advancements in 3DGS have achieved high-quality real-time rendering by optimizing the point cloud representation into Gaussian ellipsoids. Building on this, we introduce SpikeGS, the method to learn 3D Gaussian fields solely from spike stream. We designed a differentiable spike stream rendering framework based on 3DGS, incorporating noise embedding and spiking neurons. By leveraging the multi-view consistency of 3DGS and the tile-based multi-threaded parallel rendering mechanism, we achieved high-quality real-time rendering results. Additionally, we introduced a spike rendering loss function that generalizes under varying illumination conditions. Our method can reconstruct view synthesis results with fine texture details from a continuous spike stream captured by a moving spike camera, while demonstrating high robustness in extremely noisy low-light scenarios. Experimental results on both real and synthetic datasets demonstrate that our method surpasses existing approaches in terms of rendering quality and speed. Our code will be available at https://github.com/520jz/SpikeGS.
• Abstract（参考訳）: スパイクカメラは、従来のフレームカメラと比較して、高時間分解能や高ダイナミックレンジなどの利点を提供する特殊な高速視覚センサである。 これらの機能は、多くのコンピュータビジョンタスクにおいて、カメラに大きなアドバンテージを提供する。 しかし、スパイクカメラに基づく3次元再構成と新しいビュー合成の課題は未開発のままである。 スパイクストリームからニューラルラディアンスフィールドを学習する方法は存在するが、非常にノイズの多い低品質の照明条件では堅牢性が欠如しているか、深い完全連結ニューラルネットワークとニューラルラディアンスフィールドで使用されるレイマーキングレンダリング戦略により、高い計算複雑性に悩まされているため、きめ細かいテクスチャの詳細を回復することは困難である。 対照的に、3DGSの最新の進歩は、点雲表現をガウス楕円体に最適化することで、高品質なリアルタイムレンダリングを実現している。 これに基づいて,スパイクストリームのみから3次元ガウス場を学習するSpikeGSを導入する。 ノイズ埋め込みとスパイクニューロンを組み込んだ3DGSに基づく差別化可能なスパイクストリームレンダリングフレームワークを設計した。 3DGSのマルチビュー一貫性とタイルベースのマルチスレッド並列レンダリング機構を利用して,高品質なリアルタイムレンダリング結果を得た。 さらに、様々な照明条件下で一般化するスパイクレンダリング損失関数を導入した。 提案手法は, 移動型スパイクカメラで捉えた連続的なスパイクストリームから, 極めてノイズの多い低照度シナリオにおいて高いロバスト性を示しながら, 微視的なテクスチャ情報を用いて, ビュー合成結果を再構成することができる。 実データと合成データの両方に対する実験結果から,本手法はレンダリング品質と速度の面で既存の手法を超越していることが示された。 私たちのコードはhttps://github.com/520jz/SpikeGS.comで公開されます。

関連論文リスト

• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• A Refined 3D Gaussian Representation for High-Quality Dynamic Scene Reconstruction [2.022451212187598]
  近年,Neural Radiance Fields (NeRF) は3次元の3次元再構成に革命をもたらした。 3D Gaussian Splatting (3D-GS)は、ニューラルネットワークの暗黙の表現から離れ、代わりに、シーンを直接ガウス型の分布を持つ点雲として表現している。 本稿では,高品質な動的シーン再構成のための高精細な3次元ガウス表現を提案する。 実験の結果,提案手法は3D-GSによるメモリ使用量を大幅に削減しつつ,レンダリング品質と高速化の既存手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-28T07:12:22Z)
• SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
  従来のRGBカメラは、動きがぼやけやすい。 イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。 我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
  論文  参考訳（メタデータ） (2024-04-10T03:31:32Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Spike-NeRF: Neural Radiance Field Based On Spike Camera [24.829344089740303]
  スパイクデータから導出した最初のニューラルレーダランス場であるSpike-NeRFを提案する。 NeRFと同時に撮影されたマルチビュー画像の代わりに、Spike-NeRFの入力は、非常に短時間で動くスパイクカメラによってキャプチャされた連続的なスパイクストリームである。 その結果,Spike-NeRFは既存の手法や高速シーンで提案したベースラインよりも視覚的に魅力的な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-25T04:05:23Z)
• BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
  BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。 提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-03-18T14:43:04Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
  最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。 局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。 提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-30T17:58:57Z)
• Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
  本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。 一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。 提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T17:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。