論文の概要: EvGGS: A Collaborative Learning Framework for Event-based Generalizable Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2405.14959v2
- Date: Mon, 3 Jun 2024 15:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 14:19:22.107551
- Title: EvGGS: A Collaborative Learning Framework for Event-based Generalizable Gaussian Splatting
- Title（参考訳）: EvGGS: イベントベースの一般化可能なガウススプレイティングのための協調学習フレームワーク
- Authors: Jiaxu Wang, Junhao He, Ziyi Zhang, Mingyuan Sun, Jingkai Sun, Renjing Xu,
- Abstract要約: 本稿では,EvGGSと呼ばれるイベントベース汎用3D再構成フレームワークを提案する。
フィードフォワード方式でイベント入力のみから3Dガウスとしてシーンを再構築する。
提案手法は, 再現性, 深度・強度予測において, 良好な速度で全てのベースラインより優れた性能を発揮する。
- 参考スコア（独自算出の注目度）: 5.160735014509357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras offer promising advantages such as high dynamic range and low latency, making them well-suited for challenging lighting conditions and fast-moving scenarios. However, reconstructing 3D scenes from raw event streams is difficult because event data is sparse and does not carry absolute color information. To release its potential in 3D reconstruction, we propose the first event-based generalizable 3D reconstruction framework, called EvGGS, which reconstructs scenes as 3D Gaussians from only event input in a feedforward manner and can generalize to unseen cases without any retraining. This framework includes a depth estimation module, an intensity reconstruction module, and a Gaussian regression module. These submodules connect in a cascading manner, and we collaboratively train them with a designed joint loss to make them mutually promote. To facilitate related studies, we build a novel event-based 3D dataset with various material objects and calibrated labels of grayscale images, depth maps, camera poses, and silhouettes. Experiments show models that have jointly trained significantly outperform those trained individually. Our approach performs better than all baselines in reconstruction quality, and depth/intensity predictions with satisfactory rendering speed.
- Abstract（参考訳）: イベントカメラは、高ダイナミックレンジや低レイテンシといった有望なメリットを提供する。
しかし、イベントデータが少なく、絶対的な色情報を持たないため、生のイベントストリームから3Dシーンを再構築することは困難である。
EvGGSは,3次元ガウシアンとしてシーンをフィードフォワード的にのみ入力することで,シーンを再構成することなく,見えないケースに一般化することができる。
このフレームワークは、深さ推定モジュール、強度再構成モジュール、ガウス回帰モジュールを含む。
これらの部分加群はカスケード方式で接続し、設計された共同損失で協調訓練し、相互に促進する。
関連研究を容易にするために,様々な材料オブジェクトとグレースケール画像,深度マップ,カメラポーズ,シルエットのキャリブレーションされたラベルを用いた,イベントベースの新しい3Dデータセットを構築した。
実験では、共同でトレーニングされたモデルは、個別にトレーニングされたモデルよりも大幅に優れています。
提案手法は, 再現性, 深度/強度の予測において, 良好なレンダリング速度で全てのベースラインより優れた性能を発揮する。
関連論文リスト
- No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳（メタデータ） (2024-10-31T17:58:22Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。
本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。
提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文 参考訳（メタデータ） (2024-10-20T13:44:24Z) - Elite-EvGS: Learning Event-based 3D Gaussian Splatting by Distilling Event-to-Video Priors [8.93657924734248]
イベントカメラは、固定フレームではなく、非同期でスパースなイベントストリームを出力するバイオインスパイアされたセンサーである。
イベントベースの新しい3DGSフレームワークであるElite-EvGSを提案する。
私たちのキーとなるアイデアは、既成のイベント・ツー・ビデオ(E2V)モデルから事前の知識を抽出して、イベントから3Dシーンを効果的に再構築することです。
論文 参考訳（メタデータ） (2024-09-20T10:47:52Z) - LM-Gaussian: Boost Sparse-view 3D Gaussian Splatting with Large Model Priors [34.91966359570867]
スパースビューの再構築は本質的に不適切であり、制約を受けていない。
本稿では,限られた画像から高品質な再構成を生成できるLM-Gaussianを紹介する。
提案手法は,従来の3DGS法と比較してデータ取得要求を大幅に削減する。
論文 参考訳（メタデータ） (2024-09-05T12:09:02Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳（メタデータ） (2022-04-22T03:17:35Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳（メタデータ） (2021-03-30T13:50:27Z) - E3D: Event-Based 3D Shape Reconstruction [19.823758341937605]
3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。
RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。
我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
論文 参考訳（メタデータ） (2020-12-09T18:23:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。