論文の概要: Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning
- arxiv url: http://arxiv.org/abs/2403.11460v1
- Date: Mon, 18 Mar 2024 04:26:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 16:47:44.181366
- Title: Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning
- Title(参考訳): Fed3DGS: フェデレートラーニングによるスケーラブルな3Dガウススプレイティング
- Authors: Teppei Suzuki,
- Abstract要約: Fed3DGSは3Dガウススプラッティング(3DGS)に基づくスケーラブルな3D再構成フレームワークである。
既存の都市規模の再構築手法では、中央サーバにすべてのデータを収集し、シーンを再構築する集中型アプローチが一般的である。
- 参考スコア(独自算出の注目度): 12.927774549253789
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we present Fed3DGS, a scalable 3D reconstruction framework based on 3D Gaussian splatting (3DGS) with federated learning. Existing city-scale reconstruction methods typically adopt a centralized approach, which gathers all data in a central server and reconstructs scenes. The approach hampers scalability because it places a heavy load on the server and demands extensive data storage when reconstructing scenes on a scale beyond city-scale. In pursuit of a more scalable 3D reconstruction, we propose a federated learning framework with 3DGS, which is a decentralized framework and can potentially use distributed computational resources across millions of clients. We tailor a distillation-based model update scheme for 3DGS and introduce appearance modeling for handling non-IID data in the scenario of 3D reconstruction with federated learning. We simulate our method on several large-scale benchmarks, and our method demonstrates rendered image quality comparable to centralized approaches. In addition, we also simulate our method with data collected in different seasons, demonstrating that our framework can reflect changes in the scenes and our appearance modeling captures changes due to seasonal variations.
- Abstract(参考訳): 本稿では,フェデレート学習を用いた3次元ガウススプラッティング(3DGS)に基づくスケーラブルな3次元再構成フレームワークであるFed3DGSを紹介する。
既存の都市規模の再構築手法では、中央サーバにすべてのデータを収集し、シーンを再構築する集中型アプローチが一般的である。
このアプローチは、サーバに負荷をかけ、都市規模を超えたスケールでシーンを再構築する際に広範なデータストレージを要求するため、スケーラビリティを損なう。
よりスケーラブルな3D再構成を実現するために,分散学習フレームワークである3DGSを提案する。
我々は,3DGSの蒸留モデル更新スキームを調整し,フェデレートラーニングによる3D再構成のシナリオにおいて,非IIDデータを扱うための外観モデリングを導入する。
いくつかの大規模ベンチマークで本手法をシミュレートし,集中型アプローチに匹敵する画像品質を示す。
また,異なる季節で収集したデータを用いて手法をシミュレートし,シーンの変化を反映できることを示す。
関連論文リスト
- SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians [53.02232261844281]
CityGaussianは、大規模な3DGSのトレーニングとレンダリングを効率化するために、新しい分別/分別トレーニングアプローチとLevel-of-Detail(LoD)戦略を採用している。
我々のアプローチは最先端のレンダリング品質を実現し、大規模なシーンを全く異なるスケールで一貫したリアルタイムレンダリングを可能にする。
論文 参考訳(メタデータ) (2024-04-01T14:24:40Z) - FMGS: Foundation Model Embedded 3D Gaussian Splatting for Holistic 3D Scene Understanding [11.118857208538039]
基礎モデルの視覚言語埋め込みを3次元ガウススプラッティング(GS)に組み込んだ基礎モデル埋め込みガウススプラッティング(S)を提案する。
結果は、多面的なセマンティック一貫性を示し、様々な下流タスクを容易にし、オープン語彙言語に基づくオブジェクト検出において、最先端のメソッドを10.2%上回った。
本研究では,視覚・言語・3次元シーン表現の交わりについて検討し,制御されていない現実世界環境におけるシーン理解の強化の道を開く。
論文 参考訳(メタデータ) (2024-01-03T20:39:02Z) - 3DMiner: Discovering Shapes from Large-Scale Unannotated Image Datasets [34.610546020800236]
3DMinerは、挑戦的なデータセットから3D形状をマイニングするためのパイプラインである。
本手法は最先端の教師なし3次元再構成技術よりもはるかに優れた結果が得られる。
LAION-5Bデータセットから得られる画像の形状を再構成することにより,3DMinerを組込みデータに適用する方法を示す。
論文 参考訳(メタデータ) (2023-10-29T23:08:19Z) - Neural Progressive Meshes [54.52990060976026]
本稿では,共有学習空間を用いた3次元メッシュの伝送手法を提案する。
分割型エンコーダ・デコーダアーキテクチャを用いて,この空間を学習する。
本手法は複雑な3次元形状を多種多様な形状で評価し, 圧縮率と復元品質の点で, ベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-10T17:58:02Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - Stereo Neural Vernier Caliper [57.187088191829886]
学習に基づくステレオ3Dオブジェクト検出のための新しいオブジェクト中心フレームワークを提案する。
初期3次元立方体推定値から改良された更新を予測する方法の問題に対処する。
提案手法は,KITTIベンチマークの最先端性能を実現する。
論文 参考訳(メタデータ) (2022-03-21T14:36:07Z) - Geometry-Contrastive Transformer for Generalized 3D Pose Transfer [95.56457218144983]
この研究の直感は、与えられたメッシュ間の幾何学的不整合を強力な自己認識機構で知覚することである。
本研究では,グローバルな幾何学的不整合に対する3次元構造的知覚能力を有する新しい幾何学コントラスト変換器を提案する。
本稿では, クロスデータセット3次元ポーズ伝達タスクのための半合成データセットとともに, 潜時等尺正則化モジュールを提案する。
論文 参考訳(メタデータ) (2021-12-14T13:14:24Z) - Learning monocular 3D reconstruction of articulated categories from
motion [39.811816510186475]
ビデオの自己スーパービジョンは、動きに基づくサイクルロスによる連続した3次元再構成の一貫性を強要する。
少数の局所的学習可能なハンドルの変位を介して3D表面を制御する3Dテンプレート変形の解釈可能なモデルを紹介します。
多様な形状, 視点, テクスチャを具体化して, 複数の対象カテゴリーのテクスチャを再現する。
論文 参考訳(メタデータ) (2021-03-30T13:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。