論文の概要: SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors

• arxiv url: http://arxiv.org/abs/2407.03771v2
• Date: Mon, 26 Aug 2024 16:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 22:57:33.298059
• Title: SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors
• Title（参考訳）: SpikeGS:素早く動くバイオインスパイアされたセンサーで3Dシーンを再構築
• Authors: Yijia Guo, Liwen Hu, Lei Ma, Tiejun Huang,
• Abstract要約: Spike Gausian Splatting (SpikeGS)は、スパイクストリームを3DGSパイプラインに統合し、素早く動くバイオインスパイアされたカメラで3Dシーンを再構築するフレームワークである。 SpikeGSは、高時間分解能から詳細な幾何学とテクスチャを抽出するが、スパイクストリームを欠いたテクスチャは、1秒でキャプチャされた3Dシーンを再構成する。
• 参考スコア（独自算出の注目度）: 28.68263688378836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D Gaussian Splatting (3DGS) demonstrates unparalleled superior performance in 3D scene reconstruction. However, 3DGS heavily relies on the sharp images. Fulfilling this requirement can be challenging in real-world scenarios especially when the camera moves fast, which severely limits the application of 3DGS. To address these challenges, we proposed Spike Gausian Splatting (SpikeGS), the first framework that integrates the spike streams into 3DGS pipeline to reconstruct 3D scenes via a fast-moving bio-inspired camera. With accumulation rasterization, interval supervision, and a specially designed pipeline, SpikeGS extracts detailed geometry and texture from high temporal resolution but texture lacking spike stream, reconstructs 3D scenes captured in 1 second. Extensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of SpikeGS compared with existing spike-based and deblur 3D scene reconstruction methods. Codes and data will be released soon.
• Abstract（参考訳）: 3次元ガウススプラッティング(3DGS)は3次元シーン再構成において非並列的に優れた性能を示す。 しかし、3DGSはシャープな画像に大きく依存している。 この要件を満たすことは、特にカメラが速く動いた場合、現実のシナリオでは困難であり、3DGSの適用を著しく制限する。 これらの課題に対処するため、我々は、スパイクストリームを3DGSパイプラインに統合し、素早く動くバイオインスパイアされたカメラで3Dシーンを再構築する最初のフレームワークであるSpike Gausian Splatting (SpikeGS)を提案した。 蓄積ラスタ化、間隔の監督、特別に設計されたパイプラインにより、SpikeGSは高時間分解能から詳細な幾何学とテクスチャを抽出するが、スパイクストリームを欠いたテクスチャを抽出し、1秒で撮影された3Dシーンを再構成する。 複数の合成および実世界のデータセットに対する大規模な実験は、既存のスパイクベースの3Dシーン再構成法と比較して、SpikeGSの優位性を示している。 コードとデータはまもなくリリースされる。

関連論文リスト

• 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
  多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。 3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。 本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-22T14:31:39Z)
• SCIGS: 3D Gaussians Splatting from a Snapshot Compressive Image [11.391665055835249]
  Snapshot Compressive Imaging (SCI)は、高速なダイナミックシーンで情報をキャプチャすることができる。 現在のディープラーニングに基づく再構築手法では,シーン内の3次元構造的整合性を維持するのに苦労している。 本稿では,3DGSの変種であるSCIGSを提案し,カメラのポーズスタンプとガウスの原始座標を埋め込みとして利用するプリミティブレベルの変換ネットワークを開発した。
  論文  参考訳（メタデータ） (2024-11-19T12:52:37Z)
• Beyond Gaussians: Fast and High-Fidelity 3D Splatting with Linear Kernels [51.08794269211701]
  本稿では,ガウスカーネルを線形カーネルに置き換えて,よりシャープで高精度な結果を得る3Dリニアスティング(DLS)を提案する。 3DLSは、最先端の忠実さと正確さを示し、ベースライン3DGSよりも30%のFPS改善を実現している。
  論文  参考訳（メタデータ） (2024-11-19T11:59:54Z)
• 3DGS-Enhancer: Enhancing Unbounded 3D Gaussian Splatting with View-consistent 2D Diffusion Priors [13.191199172286508]
  新規ビュー合成は、複数の入力画像やビデオからシーンの新しいビューを生成することを目的としている。 3DGS-Enhancerは、3DGS表現の表現品質を向上させるための新しいパイプラインである。
  論文  参考訳（メタデータ） (2024-10-21T17:59:09Z)
• Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
  イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
  論文  参考訳（メタデータ） (2024-09-20T10:47:52Z)
• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。