論文の概要: Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning
- arxiv url: http://arxiv.org/abs/2403.11460v1
- Date: Mon, 18 Mar 2024 04:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 16:47:44.181366
- Title: Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning
- Title（参考訳）: Fed3DGS: フェデレートラーニングによるスケーラブルな3Dガウススプレイティング
- Authors: Teppei Suzuki,
- Abstract要約: Fed3DGSは3Dガウススプラッティング(3DGS)に基づくスケーラブルな3D再構成フレームワークである。
既存の都市規模の再構築手法では、中央サーバにすべてのデータを収集し、シーンを再構築する集中型アプローチが一般的である。
- 参考スコア（独自算出の注目度）: 12.927774549253789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present Fed3DGS, a scalable 3D reconstruction framework based on 3D Gaussian splatting (3DGS) with federated learning. Existing city-scale reconstruction methods typically adopt a centralized approach, which gathers all data in a central server and reconstructs scenes. The approach hampers scalability because it places a heavy load on the server and demands extensive data storage when reconstructing scenes on a scale beyond city-scale. In pursuit of a more scalable 3D reconstruction, we propose a federated learning framework with 3DGS, which is a decentralized framework and can potentially use distributed computational resources across millions of clients. We tailor a distillation-based model update scheme for 3DGS and introduce appearance modeling for handling non-IID data in the scenario of 3D reconstruction with federated learning. We simulate our method on several large-scale benchmarks, and our method demonstrates rendered image quality comparable to centralized approaches. In addition, we also simulate our method with data collected in different seasons, demonstrating that our framework can reflect changes in the scenes and our appearance modeling captures changes due to seasonal variations.
- Abstract（参考訳）: 本稿では,フェデレート学習を用いた3次元ガウススプラッティング(3DGS)に基づくスケーラブルな3次元再構成フレームワークであるFed3DGSを紹介する。
既存の都市規模の再構築手法では、中央サーバにすべてのデータを収集し、シーンを再構築する集中型アプローチが一般的である。
このアプローチは、サーバに負荷をかけ、都市規模を超えたスケールでシーンを再構築する際に広範なデータストレージを要求するため、スケーラビリティを損なう。
よりスケーラブルな3D再構成を実現するために,分散学習フレームワークである3DGSを提案する。
我々は,3DGSの蒸留モデル更新スキームを調整し,フェデレートラーニングによる3D再構成のシナリオにおいて,非IIDデータを扱うための外観モデリングを導入する。
いくつかの大規模ベンチマークで本手法をシミュレートし,集中型アプローチに匹敵する画像品質を示す。
また,異なる季節で収集したデータを用いて手法をシミュレートし,シーンの変化を反映できることを示す。
関連論文リスト
- PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
3D Gaussian Splatting (3DGS) は、空間的特徴を持つ3次元幾何学とシーンの外観の両方をコンパクトに符号化することができる。
モデルの空間的理解を改善するために,高密度キーポイント記述子を3DGSに蒸留することを提案する。
提案手法はNeRFMatchやPNeRFLocなど,最先端のニューラル・レンダー・ポース(NRP)法を超越した手法である。
論文 参考訳（メタデータ） (2024-09-24T23:18:32Z) - RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians [12.461531097629857]
我々は、適切なレンダリング方程式を用いた3DGSの一般的なモデル並列トレーニング手法であるRetinaGSを設計する。
本手法により,原始的な数を増やすと,視覚的品質が向上する傾向が明らかになる。
また、完全なMatrixCityデータセット上に10億以上のプリミティブを持つ3DGSモデルをトレーニングする最初の試みを実演する。
論文 参考訳（メタデータ） (2024-06-17T17:59:56Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳（メタデータ） (2024-04-29T23:26:30Z) - CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians [64.6687065215713]
CityGaussianは、大規模な3DGSのトレーニングとレンダリングを効率化するために、新しい分別/分別トレーニングアプローチとLevel-of-Detail(LoD)戦略を採用している。
我々のアプローチは最先端のレンダリング品質を実現し、大規模なシーンを全く異なるスケールで一貫したリアルタイムレンダリングを可能にする。
論文 参考訳（メタデータ） (2024-04-01T14:24:40Z) - 3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets [34.610546020800236]
3DMinerは、挑戦的なデータセットから3D形状をマイニングするためのパイプラインである。
本手法は最先端の教師なし3次元再構成技術よりもはるかに優れた結果が得られる。
LAION-5Bデータセットから得られる画像の形状を再構成することにより,3DMinerを組込みデータに適用する方法を示す。
論文 参考訳（メタデータ） (2023-10-29T23:08:19Z) - Neural Progressive Meshes [54.52990060976026]
本稿では,共有学習空間を用いた3次元メッシュの伝送手法を提案する。
分割型エンコーダ・デコーダアーキテクチャを用いて,この空間を学習する。
本手法は複雑な3次元形状を多種多様な形状で評価し, 圧縮率と復元品質の点で, ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-10T17:58:02Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳（メタデータ） (2021-03-30T13:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。