論文の概要: Event3DGS: Event-based 3D Gaussian Splatting for Fast Egomotion

• arxiv url: http://arxiv.org/abs/2406.02972v1
• Date: Wed, 5 Jun 2024 06:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:49:25.096092
• Title: Event3DGS: Event-based 3D Gaussian Splatting for Fast Egomotion
• Title（参考訳）: Event3DGS: 高速エゴモーションのためのイベントベースの3Dガウススプレイティング
• Authors: Tianyi Xiong, Jiayi Wu, Botao He, Cornelia Fermuller, Yiannis Aloimonos, Heng Huang, Christopher A. Metzler,
• Abstract要約: Event3DGSは、生のイベントストリームからのみガウススプラッティングを学ぶ最初の方法である。 高速なエゴモーションの下でイベントストリームのみから高忠実度3D構造を再構築することができる。 複数のデータセットの実験は、既存のアプローチと比較してEvent3DGSのレンダリング品質が優れていることを検証している。
• 参考スコア（独自算出の注目度）: 54.197343533492486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent emergence of 3D Gaussian splatting (3DGS) leverages the advantage of explicit point-based representations, which significantly improves the rendering speed and quality of novel-view synthesis. However, 3D radiance field rendering in environments with high-dynamic motion or challenging illumination condition remains problematic in real-world robotic tasks. The reason is that fast egomotion is prevalent real-world robotic tasks, which induces motion blur, leading to inaccuracies and artifacts in the reconstructed structure. To alleviate this problem, we propose Event3DGS, the first method that learns Gaussian Splatting solely from raw event streams. By exploiting the high temporal resolution of event cameras and explicit point-based representation, Event3DGS can reconstruct high-fidelity 3D structures solely from the event streams under fast egomotion. Our sparsity-aware sampling and progressive training approaches allow for better reconstruction quality and consistency. To further enhance the fidelity of appearance, we explicitly incorporate the motion blur formation process into a differentiable rasterizer, which is used with a limited set of blurred RGB images to refine the appearance. Extensive experiments on multiple datasets validate the superior rendering quality of Event3DGS compared with existing approaches, with over 95% lower training time and faster rendering speed in orders of magnitude.
• Abstract（参考訳）: 最近の3Dガウススプラッティング(3DGS)の出現は、明示的な点ベース表現の利点を生かし、新規ビュー合成のレンダリング速度と品質を大幅に向上させる。 しかし, 実世界のロボット作業では, 高ダイナミックな動きや難解な照明条件の環境下での3次元放射場レンダリングが問題視されている。 その理由は、高速な移動は現実のロボットの作業が一般的であり、それが動きのぼやけを引き起こし、再建された構造における不正確さとアーティファクトをもたらすからである。 この問題を軽減するために,生イベントストリームからのみガウススプラッティングを学習する最初の方法であるEvent3DGSを提案する。 イベントカメラの高時間分解能と明示的なポイントベース表現を利用することで、Event3DGSはイベントストリームのみから高速なエゴモーションの下で高忠実度3D構造を再構築することができる。 スパーシリティを意識したサンプリングとプログレッシブトレーニングのアプローチにより、再構築の品質と一貫性が向上します。 外観の忠実度をさらに高めるため, アクティベート可能なラスタライザに運動ぼけ形成過程を明示的に組み込んで, 限られたRGB画像と組み合わせて外観を洗練させる。 複数のデータセットに対する大規模な実験は、既存のアプローチと比較してEvent3DGSのレンダリング品質が優れていることを検証する。

関連論文リスト

• Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
  3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。 本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
  イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
  論文  参考訳（メタデータ） (2024-09-20T10:47:52Z)
• EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
  ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。 イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。 高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T13:55:54Z)
• SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors [28.68263688378836]
  Spike Gausian Splatting (SpikeGS)は、スパイクストリームを3DGSパイプラインに統合し、素早く動くバイオインスパイアされたカメラで3Dシーンを再構築するフレームワークである。 SpikeGSは、高時間分解能から詳細な幾何学とテクスチャを抽出するが、スパイクストリームを欠いたテクスチャは、1秒でキャプチャされた3Dシーンを再構成する。
  論文  参考訳（メタデータ） (2024-07-04T09:32:12Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous Visual Hulls [46.94040300725127]
  複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。 イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。 オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T15:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。