論文の概要: Event3DGS: Event-based 3D Gaussian Splatting for Fast Egomotion

• arxiv url: http://arxiv.org/abs/2406.02972v1
• Date: Wed, 5 Jun 2024 06:06:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 19:49:25.096092
• Title: Event3DGS: Event-based 3D Gaussian Splatting for Fast Egomotion
• Title（参考訳）: Event3DGS: 高速エゴモーションのためのイベントベースの3Dガウススプレイティング
• Authors: Tianyi Xiong, Jiayi Wu, Botao He, Cornelia Fermuller, Yiannis Aloimonos, Heng Huang, Christopher A. Metzler,
• Abstract要約: Event3DGSは、生のイベントストリームからのみガウススプラッティングを学ぶ最初の方法である。 高速なエゴモーションの下でイベントストリームのみから高忠実度3D構造を再構築することができる。 複数のデータセットの実験は、既存のアプローチと比較してEvent3DGSのレンダリング品質が優れていることを検証している。
• 参考スコア（独自算出の注目度）: 54.197343533492486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent emergence of 3D Gaussian splatting (3DGS) leverages the advantage of explicit point-based representations, which significantly improves the rendering speed and quality of novel-view synthesis. However, 3D radiance field rendering in environments with high-dynamic motion or challenging illumination condition remains problematic in real-world robotic tasks. The reason is that fast egomotion is prevalent real-world robotic tasks, which induces motion blur, leading to inaccuracies and artifacts in the reconstructed structure. To alleviate this problem, we propose Event3DGS, the first method that learns Gaussian Splatting solely from raw event streams. By exploiting the high temporal resolution of event cameras and explicit point-based representation, Event3DGS can reconstruct high-fidelity 3D structures solely from the event streams under fast egomotion. Our sparsity-aware sampling and progressive training approaches allow for better reconstruction quality and consistency. To further enhance the fidelity of appearance, we explicitly incorporate the motion blur formation process into a differentiable rasterizer, which is used with a limited set of blurred RGB images to refine the appearance. Extensive experiments on multiple datasets validate the superior rendering quality of Event3DGS compared with existing approaches, with over 95% lower training time and faster rendering speed in orders of magnitude.
• Abstract（参考訳）: 最近の3Dガウススプラッティング(3DGS)の出現は、明示的な点ベース表現の利点を生かし、新規ビュー合成のレンダリング速度と品質を大幅に向上させる。 しかし, 実世界のロボット作業では, 高ダイナミックな動きや難解な照明条件の環境下での3次元放射場レンダリングが問題視されている。 その理由は、高速な移動は現実のロボットの作業が一般的であり、それが動きのぼやけを引き起こし、再建された構造における不正確さとアーティファクトをもたらすからである。 この問題を軽減するために,生イベントストリームからのみガウススプラッティングを学習する最初の方法であるEvent3DGSを提案する。 イベントカメラの高時間分解能と明示的なポイントベース表現を利用することで、Event3DGSはイベントストリームのみから高速なエゴモーションの下で高忠実度3D構造を再構築することができる。 スパーシリティを意識したサンプリングとプログレッシブトレーニングのアプローチにより、再構築の品質と一貫性が向上します。 外観の忠実度をさらに高めるため, アクティベート可能なラスタライザに運動ぼけ形成過程を明示的に組み込んで, 限られたRGB画像と組み合わせて外観を洗練させる。 複数のデータセットに対する大規模な実験は、既存のアプローチと比較してEvent3DGSのレンダリング品質が優れていることを検証する。

関連論文リスト

• EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
  ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。 イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。 高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T13:55:54Z)
• SpikeGS: 3D Gaussian Splatting from Spike Streams with High-Speed Camera Motion [46.23575738669567]
  新しいビュー合成は、3Dシーンのマルチビュー画像から新しい2Dレンダリングを生成することで重要な役割を果たす。 高フレームレートの高密度3D再構成は、現実世界の物体やシーンの詳細なモデリングを可能にする重要な技術として現れる。 スパイクカメラは、新しいタイプのニューロモルフィックセンサーであり、超高時間分解能でシーンを継続的に記録する。
  論文  参考訳（メタデータ） (2024-07-14T03:19:30Z)
• WildGaussians: 3D Gaussian Splatting in the Wild [80.5209105383932]
  3DGSによる閉塞や外見の変化に対処する新しいアプローチであるWildGaussiansを紹介した。 我々はWildGaussianが3DGSとNeRFのベースラインを越えながら3DGSのリアルタイムレンダリング速度と一致していることを示す。
  論文  参考訳（メタデータ） (2024-07-11T12:41:32Z)
• SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors [28.68263688378836]
  Spike Gausian Splatting (SpikeGS)は、スパイクストリームを3DGSパイプラインに統合し、素早く動くバイオインスパイアされたカメラで3Dシーンを再構築するフレームワークである。 SpikeGSは、高時間分解能から詳細な幾何学とテクスチャを抽出するが、スパイクストリームを欠いたテクスチャは、1秒でキャプチャされた3Dシーンを再構成する。
  論文  参考訳（メタデータ） (2024-07-04T09:32:12Z)
• EvaGaussians: Event Stream Assisted Gaussian Splatting from Blurry Images [39.584967370302735]
  3次元ガウススプラッティング(3D-GS)は、3次元シーン再構成と新しいビュー合成において例外的な機能を示した。 本稿では,イベントストリーム支援型ガウシアンスプラッティング(EvaGaussians)について紹介する。これは,イベントカメラがキャプチャしたイベントストリームを統合して,ぼやけた画像から高品質な3D-GSを再構築する手法である。
  論文  参考訳（メタデータ） (2024-05-29T04:59:27Z)
• Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
  動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。 具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。 より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-18T03:46:26Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous Visual Hulls [46.94040300725127]
  複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。 イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。 オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T15:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。