論文の概要: E-3DGS: Gaussian Splatting with Exposure and Motion Events

• arxiv url: http://arxiv.org/abs/2410.16995v2
• Date: Fri, 11 Apr 2025 02:45:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:15:04.602870
• Title: E-3DGS: Gaussian Splatting with Exposure and Motion Events
• Title（参考訳）: E-3DGS:露光・モーションイベント付きガウススプラッティング
• Authors: Xiaoting Yin, Hao Shi, Yuhan Bao, Zhenshan Bing, Yiyi Liao, Kailun Yang, Kaiwei Wang,
• Abstract要約: E-3DGSは、イベントベースの3D再構築のための新しいベンチマークを、困難な状況下で堅牢なパフォーマンスで設定する。 EME-3Dは、露光イベント、モーションイベント、カメラキャリブレーションパラメータ、スパースポイントクラウドを備えた実世界の3Dデータセットである。
• 参考スコア（独自算出の注目度）: 29.042018288378447
• License:
• Abstract: Achieving 3D reconstruction from images captured under optimal conditions has been extensively studied in the vision and imaging fields. However, in real-world scenarios, challenges such as motion blur and insufficient illumination often limit the performance of standard frame-based cameras in delivering high-quality images. To address these limitations, we incorporate a transmittance adjustment device at the hardware level, enabling event cameras to capture both motion and exposure events for diverse 3D reconstruction scenarios. Motion events (triggered by camera or object movement) are collected in fast-motion scenarios when the device is inactive, while exposure events (generated through controlled camera exposure) are captured during slower motion to reconstruct grayscale images for high-quality training and optimization of event-based 3D Gaussian Splatting (3DGS). Our framework supports three modes: High-Quality Reconstruction using exposure events, Fast Reconstruction relying on motion events, and Balanced Hybrid optimizing with initial exposure events followed by high-speed motion events. On the EventNeRF dataset, we demonstrate that exposure events significantly improve fine detail reconstruction compared to motion events and outperform frame-based cameras under challenging conditions such as low illumination and overexposure. Furthermore, we introduce EME-3D, a real-world 3D dataset with exposure events, motion events, camera calibration parameters, and sparse point clouds. Our method achieves faster and higher-quality reconstruction than event-based NeRF and is more cost-effective than methods combining event and RGB data. E-3DGS sets a new benchmark for event-based 3D reconstruction with robust performance in challenging conditions and lower hardware demands. The source code and dataset will be available at https://github.com/MasterHow/E-3DGS.
• Abstract（参考訳）: 最適な条件下で撮影した画像から3次元再構成を行うことは、視覚と画像の分野で広く研究されている。 しかし、現実のシナリオでは、動きのぼやけや照明不足といった課題によって、高品質な画像を提供する際の標準的なフレームベースのカメラの性能が制限されることがしばしばある。 これらの制約に対処するため、ハードウェアレベルでの透過率調整装置を組み込むことで、様々な3次元再構成シナリオにおいて、イベントカメラがモーションイベントと露出イベントの両方をキャプチャすることができる。 動作イベント(カメラまたは物体の動きによってトリガーされる)は、装置が動作していないときに高速な動作シナリオで収集され、露光イベント(制御されたカメラ露光によって生成される)は遅い動作中にキャプチャされ、高品質なトレーニングのためのグレースケールイメージの再構築とイベントベースの3Dガウススプラッティング(3DGS)の最適化を行う。 我々のフレームワークは3つのモードをサポートしている: 露出イベントを用いた高品質リコンストラクション、モーションイベントに依存した高速リコンストラクション、そして高速モーションイベントに続く露出イベントを最適化するバランスドハイブリッド。 EventNeRFデータセットでは、低照度や過剰露光といった困難な条件下での運動イベントやフレームベースカメラよりも、露出イベントが細部再現を著しく改善することを示した。 さらに、露出イベント、モーションイベント、カメラキャリブレーションパラメータ、スパースポイントクラウドを備えた実世界の3DデータセットであるEME-3Dを紹介する。 提案手法は,イベントベースNeRFよりも高速かつ高品質な再構成を実現し,イベントとRGBデータを組み合わせた手法よりもコスト効率が高い。 E-3DGSは、挑戦的な条件下で堅牢なパフォーマンスとハードウェア要求の低いイベントベースの3D再構築のための新しいベンチマークを設定している。 ソースコードとデータセットはhttps://github.com/MasterHow/E-3DGSで入手できる。

関連論文リスト

• EventEgo3D++: 3D Human Motion Capture from a Head-Mounted Event Camera [64.58147600753382]
  EventEgo3D++は、人間の3Dモーションキャプチャーのための魚眼レンズを備えた単眼のイベントカメラである。 イベントカメラは、高時間分解能のため、高速なシナリオと様々な照明で優れる。 提案手法は,リアルタイム3次元ポーズ更新を140Hzの速度でサポートする。
  論文  参考訳（メタデータ） (2025-02-11T18:57:05Z)
• EventSplat: 3D Gaussian Splatting from Moving Event Cameras for Real-time Rendering [7.392798832833857]
  イベントカメラは例外的な時間分解能と高いダイナミックレンジを提供する。 ガウススプラッティングによる新しいビュー合成におけるイベントカメラデータの利用法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:23:58Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
  IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。 我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
  論文  参考訳（メタデータ） (2024-10-10T16:54:23Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
  イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
  論文  参考訳（メタデータ） (2024-09-20T10:47:52Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [36.91327728871551]
  3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。 本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
  論文  参考訳（メタデータ） (2024-05-29T04:59:27Z)
• EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
  本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。 イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。 我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
  論文  参考訳（メタデータ） (2024-04-12T17:59:47Z)
• EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
  本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。 その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。 提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
  論文  参考訳（メタデータ） (2022-06-23T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。