論文の概要: IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera

• arxiv url: http://arxiv.org/abs/2410.08107v1
• Date: Fri, 18 Oct 2024 16:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 05:25:16.775701
• Title: IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera
• Title（参考訳）: IncEventGS:1つのイベントカメラからポスフリーのガウシアンスプレイティング
• Authors: Jian Huang, Chengrui Dong, Peidong Liu,
• Abstract要約: IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。 我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
• 参考スコア（独自算出の注目度）: 7.515256982860307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representation and explicit 3D Gaussian Splatting (3D-GS) for novel view synthesis have achieved remarkable progress with frame-based camera (e.g. RGB and RGB-D cameras) recently. Compared to frame-based camera, a novel type of bio-inspired visual sensor, i.e. event camera, has demonstrated advantages in high temporal resolution, high dynamic range, low power consumption and low latency. Due to its unique asynchronous and irregular data capturing process, limited work has been proposed to apply neural representation or 3D Gaussian splatting for an event camera. In this work, we present IncEventGS, an incremental 3D Gaussian Splatting reconstruction algorithm with a single event camera. To recover the 3D scene representation incrementally, we exploit the tracking and mapping paradigm of conventional SLAM pipelines for IncEventGS. Given the incoming event stream, the tracker firstly estimates an initial camera motion based on prior reconstructed 3D-GS scene representation. The mapper then jointly refines both the 3D scene representation and camera motion based on the previously estimated motion trajectory from the tracker. The experimental results demonstrate that IncEventGS delivers superior performance compared to prior NeRF-based methods and other related baselines, even we do not have the ground-truth camera poses. Furthermore, our method can also deliver better performance compared to state-of-the-art event visual odometry methods in terms of camera motion estimation. Code is publicly available at: https://github.com/wu-cvgl/IncEventGS.
• Abstract（参考訳）: 近年, フレームベースカメラ(例えばRGB, RGB-Dカメラ)では, 暗黙の神経表現と3Dガウススプラッティング(3D-GS)が顕著な進歩を遂げている。 フレームベースのカメラと比較して、新しいタイプのバイオインスパイアされた視覚センサ、すなわちイベントカメラは、高時間分解能、高ダイナミックレンジ、低消費電力、低レイテンシの利点を実証している。 ユニークな非同期かつ不規則なデータキャプチャプロセスのため、イベントカメラにニューラル表現や3Dガウススプラッティングを適用するための限られた作業が提案されている。 本研究では,1つのイベントカメラを用いたインクリメンタルな3次元ガウス分割再構成アルゴリズムであるIncEventGSを提案する。 InEventGS における従来の SLAM パイプラインの追跡とマッピングのパラダイムを生かして,3D シーンの表現を漸進的に復元する。 受信したイベントストリームから、トラッカーは、事前に再構成された3D-GSシーン表現に基づいて、最初に初期カメラモーションを推定する。 そして、マッパーは、トラッカーから予め推定された動き軌跡に基づいて、3Dシーン表現とカメラモーションの両方を共同で洗練する。 実験結果から,InEventGSは従来のNeRF法やそれに関連するベースラインに比べて優れた性能を示すことが示された。 さらに,本手法は,カメラモーション推定の点から,最先端のイベント・オドメトリー法よりも優れた性能を実現することができる。 コードはhttps://github.com/wu-cvgl/IncEventGS.comで公開されている。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。 また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。 我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Gaussian Splatting SLAM [16.3858380078553]
  単分子SLAMにおける3次元ガウス散乱の最初の応用について述べる。 我々の方法は3fpsで動作し、正確な追跡、マッピング、高品質なレンダリングに必要な表現を統一する。 ライブカメラから高忠実度で連続的に3Dシーンを再構築するためには、いくつかの革新が必要である。
  論文  参考訳（メタデータ） (2023-12-11T18:19:04Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)
• Lifting Monocular Events to 3D Human Poses [22.699272716854967]
  本稿では,非同期イベントの単一ストリームを入力として用いる新しい3次元ポーズ推定手法を提案する。 単一のイベントストリームから3D人間のポーズを学習する最初の方法を提案します。 実験により,本手法は,標準RGBとイベントベースビジョン間の性能ギャップを狭め,精度が向上することを示した。
  論文  参考訳（メタデータ） (2021-04-21T16:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。