論文の概要: EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2410.15392v2
- Date: Tue, 22 Oct 2024 18:22:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 09:55:01.220094
- Title: EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting
- Title（参考訳）: EF-3DGS: イベント支援自由軌道3次元ガウス平滑化
- Authors: Bohao Liao, Wei Zhai, Zengyu Wan, Tianzhu Zhang, Yang Cao, Zheng-Jun Zha,
- Abstract要約: 生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
- 参考スコア（独自算出の注目度）: 76.02450110026747
- License:
- Abstract: Scene reconstruction from casually captured videos has wide applications in real-world scenarios. With recent advancements in differentiable rendering techniques, several methods have attempted to simultaneously optimize scene representations (NeRF or 3DGS) and camera poses. Despite recent progress, existing methods relying on traditional camera input tend to fail in high-speed (or equivalently low-frame-rate) scenarios. Event cameras, inspired by biological vision, record pixel-wise intensity changes asynchronously with high temporal resolution, providing valuable scene and motion information in blind inter-frame intervals. In this paper, we introduce the event camera to aid scene construction from a casually captured video for the first time, and propose Event-Aided Free-Trajectory 3DGS, called EF-3DGS, which seamlessly integrates the advantages of event cameras into 3DGS through three key components. First, we leverage the Event Generation Model (EGM) to fuse events and frames, supervising the rendered views observed by the event stream. Second, we adopt the Contrast Maximization (CMax) framework in a piece-wise manner to extract motion information by maximizing the contrast of the Image of Warped Events (IWE), thereby calibrating the estimated poses. Besides, based on the Linear Event Generation Model (LEGM), the brightness information encoded in the IWE is also utilized to constrain the 3DGS in the gradient domain. Third, to mitigate the absence of color information of events, we introduce photometric bundle adjustment (PBA) to ensure view consistency across events and frames. We evaluate our method on the public Tanks and Temples benchmark and a newly collected real-world dataset, RealEv-DAVIS. Our project page is https://lbh666.github.io/ef-3dgs/.
- Abstract（参考訳）: カジュアルに撮影されたビデオからのシーン再構成は、現実世界のシナリオに広く応用されている。
近年の差別化レンダリング技術の進歩により、シーン表現(NeRFまたは3DGS)とカメラポーズを同時に最適化する手法がいくつか試みられている。
最近の進歩にもかかわらず、従来のカメラ入力に依存する既存の手法は、高速(または同等の低フレームレート)のシナリオで失敗する傾向がある。
生物学的ビジョンにインスパイアされたイベントカメラは、高時間分解能で非同期に画素の強度を記録し、ブラインドフレーム間の間隔で貴重なシーンとモーション情報を提供する。
本稿では,カジュアルな映像からシーン構築を支援するイベントカメラを提案するとともに,イベントカメラの利点を3つのキーコンポーネントを通してシームレスに統合するイベント支援フリートラジェクトリ3DGS(EF-3DGS)を提案する。
まず、イベント生成モデル(EGM)を利用してイベントとフレームを融合し、イベントストリームで観測されるレンダリングビューを監視します。
第2に、コントラスト最大化(CMax)フレームワークを採用し、ワープされた事象の画像(IWE)のコントラストを最大化し、推定されたポーズを校正する。
また、線形事象生成モデル(LEGM)に基づき、IWEに符号化された輝度情報を勾配領域における3DGSの制約に利用する。
第3に、イベントの色情報の欠如を軽減するため、イベントやフレーム間の視界の整合性を確保するために、測光束調整(PBA)を導入する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
私たちのプロジェクトページはhttps://lbh666.github.io/ef-3dgs/です。
関連論文リスト
- E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。
露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。
提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文 参考訳（メタデータ） (2024-10-22T13:17:20Z) - IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。
我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
論文 参考訳（メタデータ） (2024-10-10T16:54:23Z) - Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。
イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。
私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
論文 参考訳（メタデータ） (2024-09-20T10:47:52Z) - EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [39.584967370302735]
3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。
本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
論文 参考訳（メタデータ） (2024-05-29T04:59:27Z) - 3D Pose Estimation of Two Interacting Hands from a Monocular Event
Camera [59.846927201816776]
本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。
本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
論文 参考訳（メタデータ） (2023-12-21T18:59:57Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized
Photography [54.36608424943729]
2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。
我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
論文 参考訳（メタデータ） (2022-12-22T18:54:34Z) - PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with
Point and Line Features [3.6355269783970394]
イベントカメラは、フレームレートが固定された強度画像の代わりにピクセルレベルの照明変化をキャプチャするモーションアクティベートセンサーである。
本稿では,ロバストで高精度でリアルタイムな単眼イベントベース視覚慣性オドメトリー(VIO)法を提案する。
論文 参考訳（メタデータ） (2022-09-25T06:14:12Z) - EventNeRF: Neural Radiance Fields from a Single Colour Event Camera [81.19234142730326]
本稿では, 単色イベントストリームを入力として, 3次元一貫性, 密度, 新規なビュー合成法を提案する。
その中核は、カラーイベントチャンネルのオリジナルの解像度を維持しながら、イベントから完全に自己教師された方法で訓練された神経放射場である。
提案手法をいくつかの難解な合成シーンと実シーンで定性的・数値的に評価し,より密集し,より視覚的に魅力的であることを示す。
論文 参考訳（メタデータ） (2022-06-23T17:59:53Z) - MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。
バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。
本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
論文 参考訳（メタデータ） (2021-11-30T23:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。