論文の概要: Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors

• arxiv url: http://arxiv.org/abs/2409.13392v1
• Date: Fri, 20 Sep 2024 10:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:28:56.390911
• Title: Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors
• Title（参考訳）: Elite-EvGS: イベント・ツー・ビデオ優先の蒸留によるイベントベース3次元ガウス分割学習
• Authors: Zixin Zhang, Kanghao Chen, Lin Wang,
• Abstract要約: イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
• 参考スコア（独自算出の注目度）: 8.93657924734248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are bio-inspired sensors that output asynchronous and sparse event streams, instead of fixed frames. Benefiting from their distinct advantages, such as high dynamic range and high temporal resolution, event cameras have been applied to address 3D reconstruction, important for robotic mapping. Recently, neural rendering techniques, such as 3D Gaussian splatting (3DGS), have been shown successful in 3D reconstruction. However, it still remains under-explored how to develop an effective event-based 3DGS pipeline. In particular, as 3DGS typically depends on high-quality initialization and dense multiview constraints, a potential problem appears for the 3DGS optimization with events given its inherent sparse property. To this end, we propose a novel event-based 3DGS framework, named Elite-EvGS. Our key idea is to distill the prior knowledge from the off-the-shelf event-to-video (E2V) models to effectively reconstruct 3D scenes from events in a coarse-to-fine optimization manner. Specifically, to address the complexity of 3DGS initialization from events, we introduce a novel warm-up initialization strategy that optimizes a coarse 3DGS from the frames generated by E2V models and then incorporates events to refine the details. Then, we propose a progressive event supervision strategy that employs the window-slicing operation to progressively reduce the number of events used for supervision. This subtly relives the temporal randomness of the event frames, benefiting the optimization of local textural and global structural details. Experiments on the benchmark datasets demonstrate that Elite-EvGS can reconstruct 3D scenes with better textural and structural details. Meanwhile, our method yields plausible performance on the captured real-world data, including diverse challenging conditions, such as fast motion and low light scenes.
• Abstract（参考訳）: イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 高ダイナミックレンジや高時間分解能などの異なる利点から、ロボットマッピングにおいて重要な3D再構成にイベントカメラが応用されている。 近年, 3次元ガウススプラッティング(3DGS)などのニューラルレンダリング技術は, 3次元再構成に成功している。 しかし、効果的なイベントベースの3DGSパイプラインの開発方法はまだ解明されていない。 特に、3DGSは、通常、高品質な初期化と密集した多視点制約に依存しているため、その固有のスパース性から、3DGS最適化に潜在的な問題が現れる。 そこで我々は,イベントベースの新しい3DGSフレームワークElite-EvGSを提案する。 我々のキーとなる考え方は、既成のイベント・ツー・ビデオ(E2V)モデルから事前知識を抽出し、粗い最適化方法でイベントから3Dシーンを効果的に再構築することである。 具体的には、イベントからの3DGS初期化の複雑さに対処するため、E2Vモデルによって生成されたフレームから粗い3DGSを最適化し、イベントを組み込んで詳細を洗練するウォームアップ初期化戦略を導入する。 そこで本稿では,ウィンドウスライシングによるイベント監視を段階的に削減する,プログレッシブなイベント監視戦略を提案する。 これにより、イベントフレームの時間的ランダム性が微妙に向上し、局所的なテクスチャとグローバルな構造の詳細の最適化に寄与する。 ベンチマークデータセットの実験では、Elite-EvGSがより優れたテクスチャと構造の詳細で3Dシーンを再構築できることが示されている。 一方,本手法は,高速な動きや低照度シーンなどの多様な課題を含む実世界のデータに対して,高い性能が得られる。

関連論文リスト

• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
  ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。 イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。 高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T13:55:54Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction [59.40711222096875]
  VastGaussianは3次元ガウススティングに基づく大規模シーンにおける高品質な再構成とリアルタイムレンダリングのための最初の方法である。 提案手法は既存のNeRF手法より優れており,複数の大規模シーンデータセットの最先端結果が得られる。
  論文  参考訳（メタデータ） (2024-02-27T11:40:50Z)
• EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous Visual Hulls [46.94040300725127]
  複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。 イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。 オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T15:46:16Z)
• Differentiable Event Stream Simulator for Non-Rigid 3D Tracking [82.56690776283428]
  我々の微分可能シミュレータは、イベントストリームから変形可能なオブジェクトの非剛性3D追跡を可能にする。 様々な種類の非剛体物体に対するアプローチの有効性を示し, 既存の非剛体3次元追跡手法と比較した。
  論文  参考訳（メタデータ） (2021-04-30T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。