論文の概要: EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
- arxiv url: http://arxiv.org/abs/2412.07293v1
- Date: Tue, 10 Dec 2024 08:23:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:37:08.154649
- Title: EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering
- Title（参考訳）: EventSplat:リアルタイムレンダリングのための移動式イベントカメラからの3Dガウス撮影
- Authors: Toshiya Yura, Ashkan Mirzaei, Igor Gilitschenski,
- Abstract要約: イベントカメラは例外的な時間分解能と高いダイナミックレンジを提供する。
ガウススプラッティングによる新しいビュー合成におけるイベントカメラデータの利用法を提案する。
- 参考スコア（独自算出の注目度）: 7.392798832833857
- License:
- Abstract: We introduce a method for using event camera data in novel view synthesis via Gaussian Splatting. Event cameras offer exceptional temporal resolution and a high dynamic range. Leveraging these capabilities allows us to effectively address the novel view synthesis challenge in the presence of fast camera motion. For initialization of the optimization process, our approach uses prior knowledge encoded in an event-to-video model. We also use spline interpolation for obtaining high quality poses along the event camera trajectory. This enhances the reconstruction quality from fast-moving cameras while overcoming the computational limitations traditionally associated with event-based Neural Radiance Field (NeRF) methods. Our experimental evaluation demonstrates that our results achieve higher visual fidelity and better performance than existing event-based NeRF approaches while being an order of magnitude faster to render.
- Abstract（参考訳）: ガウススプラッティングによる新しいビュー合成におけるイベントカメラデータの利用法を提案する。
イベントカメラは例外的な時間分解能と高いダイナミックレンジを提供する。
これらの機能を活用することで、高速カメラモーションの存在下での新たなビュー合成課題に効果的に対処できます。
最適化プロセスの初期化には、イベント・ツー・ビデオモデルで符号化された事前知識を用いる。
また,イベントカメラの軌道に沿って高品質なポーズを得るために,スプライン補間を用いる。
これにより、高速移動カメラによるリコンストラクション品質が向上し、従来はイベントベースのNeural Radiance Field(NeRF)メソッドに関連付けられていた計算制限を克服する。
実験の結果,既存のイベントベースNeRF手法よりも高精細度,高精細度化を実現し,レンダリングの高速化が図られた。
関連論文リスト
- AE-NeRF: Augmenting Event-Based Neural Radiance Fields for Non-ideal Conditions and Larger Scene [31.142207770861457]
非理想的条件からイベントベースNeRFを学習する際の課題を解決するために,AE-NeRFを提案する。
本手法は,イベントベース3次元再構成における新しい最先端技術を実現する。
論文 参考訳（メタデータ） (2025-01-06T07:00:22Z) - E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳（メタデータ） (2023-09-15T14:19:36Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - Globally-Optimal Event Camera Motion Estimation [30.79931004393174]
イベントカメラは、HDR条件でよく機能し、時間分解能の高いバイオインスパイアされたセンサーである。
イベントカメラは、非同期ピクセルレベルの変更を測定し、高度に識別されたフォーマットでそれらを返す。
論文 参考訳（メタデータ） (2022-03-08T08:24:22Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z) - Learning Event-Based Motion Deblurring [39.16921854492941]
高速な動きは、イベントベースのカメラの高速でイベントとしてキャプチャすることができる。
我々は、その最適化を、新しいエンドツーエンドのディープアーキテクチャでどのように展開できるかを示す。
提案手法は、最先端の復元品質を実現し、実世界の動きのぼかし処理をより一般化する。
論文 参考訳（メタデータ） (2020-04-13T07:01:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。