論文の概要: Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors
- arxiv url: http://arxiv.org/abs/2409.13392v1
- Date: Fri, 20 Sep 2024 10:47:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 02:55:28.571897
- Title: Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors
- Title(参考訳): Elite-EvGS: イベント・ツー・ビデオ優先の蒸留によるイベントベース3次元ガウス分割学習
- Authors: Zixin Zhang, Kanghao Chen, Lin Wang,
- Abstract要約: イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。
イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。
私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
- 参考スコア(独自算出の注目度): 8.93657924734248
- License:
- Abstract: Event cameras are bio-inspired sensors that output asynchronous and sparse event streams, instead of fixed frames. Benefiting from their distinct advantages, such as high dynamic range and high temporal resolution, event cameras have been applied to address 3D reconstruction, important for robotic mapping. Recently, neural rendering techniques, such as 3D Gaussian splatting (3DGS), have been shown successful in 3D reconstruction. However, it still remains under-explored how to develop an effective event-based 3DGS pipeline. In particular, as 3DGS typically depends on high-quality initialization and dense multiview constraints, a potential problem appears for the 3DGS optimization with events given its inherent sparse property. To this end, we propose a novel event-based 3DGS framework, named Elite-EvGS. Our key idea is to distill the prior knowledge from the off-the-shelf event-to-video (E2V) models to effectively reconstruct 3D scenes from events in a coarse-to-fine optimization manner. Specifically, to address the complexity of 3DGS initialization from events, we introduce a novel warm-up initialization strategy that optimizes a coarse 3DGS from the frames generated by E2V models and then incorporates events to refine the details. Then, we propose a progressive event supervision strategy that employs the window-slicing operation to progressively reduce the number of events used for supervision. This subtly relives the temporal randomness of the event frames, benefiting the optimization of local textural and global structural details. Experiments on the benchmark datasets demonstrate that Elite-EvGS can reconstruct 3D scenes with better textural and structural details. Meanwhile, our method yields plausible performance on the captured real-world data, including diverse challenging conditions, such as fast motion and low light scenes.
- Abstract(参考訳): イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。
高ダイナミックレンジや高時間分解能などの異なる利点から、ロボットマッピングにおいて重要な3D再構成にイベントカメラが応用されている。
近年, 3次元ガウススプラッティング(3DGS)などのニューラルレンダリング技術は, 3次元再構成に成功している。
しかし、効果的なイベントベースの3DGSパイプラインの開発方法はまだ解明されていない。
特に、3DGSは、通常、高品質な初期化と密集した多視点制約に依存しているため、その固有のスパース性から、3DGS最適化に潜在的な問題が現れる。
そこで我々は,イベントベースの新しい3DGSフレームワークElite-EvGSを提案する。
我々のキーとなる考え方は、既成のイベント・ツー・ビデオ(E2V)モデルから事前知識を抽出し、粗い最適化方法でイベントから3Dシーンを効果的に再構築することである。
具体的には、イベントからの3DGS初期化の複雑さに対処するため、E2Vモデルによって生成されたフレームから粗い3DGSを最適化し、イベントを組み込んで詳細を洗練するウォームアップ初期化戦略を導入する。
そこで本稿では,ウィンドウスライシングによるイベント監視を段階的に削減する,プログレッシブなイベント監視戦略を提案する。
これにより、イベントフレームの時間的ランダム性が微妙に向上し、局所的なテクスチャとグローバルな構造の詳細の最適化に寄与する。
ベンチマークデータセットの実験では、Elite-EvGSがより優れたテクスチャと構造の詳細で3Dシーンを再構築できることが示されている。
一方,本手法は,高速な動きや低照度シーンなどの多様な課題を含む実世界のデータに対して,高い性能が得られる。
関連論文リスト
- EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。
イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。
高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
論文 参考訳(メタデータ) (2024-07-18T13:55:54Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳(メタデータ) (2024-06-14T17:53:55Z) - Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。
複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。
また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文 参考訳(メタデータ) (2024-06-05T06:06:03Z) - EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [39.584967370302735]
3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。
本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
論文 参考訳(メタデータ) (2024-05-29T04:59:27Z) - EvGGS: A Collaborative Learning Framework for Event-based Generalizable Gaussian Splatting [5.160735014509357]
本稿では,EvGGSと呼ばれるイベントベース汎用3D再構成フレームワークを提案する。
フィードフォワード方式でイベント入力のみから3Dガウスとしてシーンを再構築する。
提案手法は, 再現性, 深度・強度予測において, 良好な速度で全てのベースラインより優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-05-23T18:10:26Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。
提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
論文 参考訳(メタデータ) (2024-02-27T11:40:50Z) - EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous
Visual Hulls [46.94040300725127]
複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。
イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。
オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
論文 参考訳(メタデータ) (2023-04-11T15:46:16Z) - Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。
様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
論文 参考訳(メタデータ) (2021-04-30T17:58:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。