論文の概要: Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion

• arxiv url: http://arxiv.org/abs/2406.02972v2
• Date: Mon, 10 Jun 2024 21:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 21:33:54.087597
• Title: Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion
• Title（参考訳）: Event3DGS: 高速ロボットエゴモーションのためのイベントベース3Dガウススプレイティング
• Authors: Tianyi Xiong, Jiayi Wu, Botao He, Cornelia Fermuller, Yiannis Aloimonos, Heng Huang, Christopher A. Metzler,
• Abstract要約: Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
• 参考スコア（独自算出の注目度）: 54.197343533492486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By combining differentiable rendering with explicit point-based scene representations, 3D Gaussian Splatting (3DGS) has demonstrated breakthrough 3D reconstruction capabilities. However, to date 3DGS has had limited impact on robotics, where high-speed egomotion is pervasive: Egomotion introduces motion blur and leads to artifacts in existing frame-based 3DGS reconstruction methods. To address this challenge, we introduce Event3DGS, an {\em event-based} 3DGS framework. By exploiting the exceptional temporal resolution of event cameras, Event3GDS can reconstruct high-fidelity 3D structure and appearance under high-speed egomotion. Extensive experiments on multiple synthetic and real-world datasets demonstrate the superiority of Event3DGS compared with existing event-based dense 3D scene reconstruction frameworks; Event3DGS substantially improves reconstruction quality (+3dB) while reducing computational costs by 95\%. Our framework also allows one to incorporate a few motion-blurred frame-based measurements into the reconstruction process to further improve appearance fidelity without loss of structural accuracy.
• Abstract（参考訳）: 微分可能レンダリングと明示的な点ベースシーン表現を組み合わせることで、3Dガウススプラッティング(3DGS)は画期的な3D再構成能力を実証した。 しかし、これまで3DGSは、高速な移動が広まるロボット工学に限られた影響を与えてきた: Egomotionは動きのぼやけを導入し、既存のフレームベースの3DGS再構築手法の成果物に繋がる。 この課題に対処するために、イベントベースの3DGSフレームワークであるEvent3DGSを紹介します。 イベントカメラの例外的な時間分解能を利用して、Event3GDSは高速なエゴモーションの下で高忠実度3D構造と外観を再構築することができる。 Event3DGSは、計算コストを95%削減しつつ、再構成品質(+3dB)を大幅に改善する。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。

関連論文リスト

• Event-boosted Deformable 3D Gaussians for Fast Dynamic Scene Reconstruction [50.873820265165975]
  3D Gaussian Splatting (3D-GS) はリアルタイムレンダリングを実現するが、RGBカメラの低時間分解能のため高速動作に苦慮している。 本稿では,高時間分解能連続運動データをキャプチャするイベントカメラと,高速な動的シーン再構成のための変形可能な3D-GSを組み合わせた最初のアプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-25T08:23:38Z)
• E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
  イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。 露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。 提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
  論文  参考訳（メタデータ） (2024-10-22T13:17:20Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
  イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。 イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。 私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
  論文  参考訳（メタデータ） (2024-09-20T10:47:52Z)
• EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting [8.842593320829785]
  ガウススプラッティング(EaDeblur-GS)を用いたイベント支援3次元デブロア再構成について述べる。 イベントカメラデータを統合して、3DGSの動作のぼかしに対する堅牢性を高める。 高速な3D再構成をリアルタイムで実現し、最先端の手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T13:55:54Z)
• SpikeGS: Reconstruct 3D scene via fast-moving bio-inspired sensors [28.68263688378836]
  Spike Gausian Splatting (SpikeGS)は、スパイクストリームを3DGSパイプラインに統合し、素早く動くバイオインスパイアされたカメラで3Dシーンを再構築するフレームワークである。 SpikeGSは、高時間分解能から詳細な幾何学とテクスチャを抽出するが、スパイクストリームを欠いたテクスチャは、1秒でキャプチャされた3Dシーンを再構成する。
  論文  参考訳（メタデータ） (2024-07-04T09:32:12Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• SAGD: Boundary-Enhanced Segment Anything in 3D Gaussian via Gaussian Decomposition [66.80822249039235]
  3Dガウススプラッティングは、新しいビュー合成のための代替の3D表現として登場した。 SAGDは3D-GSのための概念的にシンプルで効果的な境界拡張パイプラインである。 提案手法は粗い境界問題なく高品質な3Dセグメンテーションを実現し,他のシーン編集作業にも容易に適用できる。
  論文  参考訳（メタデータ） (2024-01-31T14:19:03Z)
• EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous Visual Hulls [46.94040300725127]
  複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。 イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。 オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T15:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。