論文の概要: Ev-GS: Event-based Gaussian splatting for Efficient and Accurate Radiance Field Rendering
- arxiv url: http://arxiv.org/abs/2407.11343v1
- Date: Tue, 16 Jul 2024 03:15:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 18:42:16.753136
- Title: Ev-GS: Event-based Gaussian splatting for Efficient and Accurate Radiance Field Rendering
- Title（参考訳）: Ev-GS:高効率かつ高精度な放射場レンダリングのためのイベントベースガウススプラッティング
- Authors: Jingqian Wu, Shuo Zhu, Chutian Wang, Edmund Y. Lam,
- Abstract要約: 単眼イベントカメラから3次元ガウススプラッティングを推定する最初のCNIインフォームドスキームであるEv-GSを紹介する。
Ev-GSは、ぼかしを減らし、視覚的品質を改善したリアルなビューをレンダリングすることで、フレームベースの信号を入力として取り出す手法よりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 8.329155841947003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computational neuromorphic imaging (CNI) with event cameras offers advantages such as minimal motion blur and enhanced dynamic range, compared to conventional frame-based methods. Existing event-based radiance field rendering methods are built on neural radiance field, which is computationally heavy and slow in reconstruction speed. Motivated by the two aspects, we introduce Ev-GS, the first CNI-informed scheme to infer 3D Gaussian splatting from a monocular event camera, enabling efficient novel view synthesis. Leveraging 3D Gaussians with pure event-based supervision, Ev-GS overcomes challenges such as the detection of fast-moving objects and insufficient lighting. Experimental results show that Ev-GS outperforms the method that takes frame-based signals as input by rendering realistic views with reduced blurring and improved visual quality. Moreover, it demonstrates competitive reconstruction quality and reduced computing occupancy compared to existing methods, which paves the way to a highly efficient CNI approach for signal processing.
- Abstract（参考訳）: イベントカメラを用いたコンピュータニューロモルフィックイメージング(CNI)は、従来のフレームベースの手法と比較して、最小の運動ぼけや拡張されたダイナミックレンジのような利点を提供する。
既存のイベントベースレーダランス場レンダリング手法は, 計算的に重く, 再構成速度が遅いニューラルレーダランス場上に構築されている。
この2つの側面を動機として,単眼イベントカメラから3次元ガウススプラッティングを推定する初のCNIインフォームドスキームであるEv-GSを導入する。
純粋なイベントベースの監視で3Dガウシアンを活用することで、Ev-GSは高速移動物体の検出や照明不足といった課題を克服する。
実験結果から,フレームベースの信号を入力として,ぼやけを低減し,視覚的品質を向上させたリアルなビューをレンダリングすることで,Ev-GSの精度が向上することが示された。
さらに,信号処理に高効率なCNIアプローチを採用する既存手法と比較して,競争力のある再構成品質と計算能力の低下を示す。
関連論文リスト
- Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。
私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。
我々の手法は最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-10-24T15:10:27Z) - E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - MCGS: Multiview Consistency Enhancement for Sparse-View 3D Gaussian Radiance Fields [73.49548565633123]
3Dガウシアンによって表現される放射場は、高いトレーニング効率と高速レンダリングの両方を提供する、新しいビューの合成に優れている。
既存の手法では、高密度推定ネットワークからの奥行き先を組み込むことが多いが、入力画像に固有の多視点一貫性を見落としている。
本稿では,3次元ガウス・スプレイティング(MCGS)に基づくビュー・フレームワークを提案し,スパークス・インプット・ビューからシーンを再構築する。
論文 参考訳（メタデータ） (2024-10-15T08:39:05Z) - HGSLoc: 3DGS-based Heuristic Camera Pose Refinement [13.393035855468428]
視覚的ローカライゼーションは、既知のシーン表現内のカメラのポーズと方向を決定するプロセスを指す。
本稿では,3次元再構成と改良戦略を統合したHGSLocを提案する。
提案手法は,NeRFベースのニューラルレンダリング手法と比較して,高速なレンダリング速度とローカライズ精度を示す。
論文 参考訳（メタデータ） (2024-09-17T06:48:48Z) - Evaluating Modern Approaches in 3D Scene Reconstruction: NeRF vs Gaussian-Based Methods [4.6836510920448715]
本研究では,3次元シーン再構成におけるニューラルレージアン場(NeRF)とガウス法(Gaussian-based method)の機能について検討する。
我々は,追跡精度,マッピング忠実度,ビュー合成に基づく性能評価を行った。
発見によると、NeRFはビュー合成に優れており、既存のデータから新しい視点を生成するユニークな機能を提供する。
論文 参考訳（メタデータ） (2024-08-08T07:11:57Z) - Wild-GS: Real-Time Novel View Synthesis from Unconstrained Photo Collections [30.321151430263946]
本稿では、制約のない写真コレクションに最適化された3DGSの革新的な適応であるWild-GSについて述べる。
Wild-GSは、それぞれの3Dガウスの出現を、その固有の材料特性、大域照明と画像当たりのカメラ特性、反射率の点レベルの局所的ばらつきによって決定する。
この斬新な設計は、参照ビューの高周波詳細外観を3次元空間に効果的に転送し、トレーニングプロセスを大幅に高速化する。
論文 参考訳（メタデータ） (2024-06-14T19:06:07Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文 参考訳（メタデータ） (2024-03-15T09:47:35Z) - Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering [71.44349029439944]
最近の3次元ガウス散乱法は、最先端のレンダリング品質と速度を達成している。
局所的な3Dガウス分布にアンカーポイントを用いるScaffold-GSを導入する。
提案手法は,高品質なレンダリングを実現しつつ,冗長なガウスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2023-11-30T17:58:57Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-25T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。