論文の概要: MAC-Ego3D: Multi-Agent Gaussian Consensus for Real-Time Collaborative Ego-Motion and Photorealistic 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2412.09723v1
- Date: Thu, 12 Dec 2024 21:04:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:03:03.013830
- Title: MAC-Ego3D: Multi-Agent Gaussian Consensus for Real-Time Collaborative Ego-Motion and Photorealistic 3D Reconstruction
- Title（参考訳）: MAC-Ego3D: リアルタイム協調エゴ運動と光現実性3D再構成のためのマルチエージェントガウスコンセンサス
- Authors: Xiaohao Xu, Feng Xue, Shibo Zhao, Yike Pan, Sebastian Scherer, Xiaonan Huang,
- Abstract要約: 提案するMAC-Ego3Dは,マルチエージェント・ガウス・コンセンサスによるリアルタイム3次元再構成のための新しいフレームワークである。
MAC-Ego3Dは、エージェントが独立してローカルマップを構築し、調整し、反復的に洗練することを可能にする。
推定速度は15倍に向上し, 部分ケースの自我運動推定誤差のオーダー・オブ・マグニチュードが減少し, RGB PSNRは4～10dBとなった。
- 参考スコア（独自算出の注目度）: 7.8809787820112
- License:
- Abstract: Real-time multi-agent collaboration for ego-motion estimation and high-fidelity 3D reconstruction is vital for scalable spatial intelligence. However, traditional methods produce sparse, low-detail maps, while recent dense mapping approaches struggle with high latency. To overcome these challenges, we present MAC-Ego3D, a novel framework for real-time collaborative photorealistic 3D reconstruction via Multi-Agent Gaussian Consensus. MAC-Ego3D enables agents to independently construct, align, and iteratively refine local maps using a unified Gaussian splat representation. Through Intra-Agent Gaussian Consensus, it enforces spatial coherence among neighboring Gaussian splats within an agent. For global alignment, parallelized Inter-Agent Gaussian Consensus, which asynchronously aligns and optimizes local maps by regularizing multi-agent Gaussian splats, seamlessly integrates them into a high-fidelity 3D model. Leveraging Gaussian primitives, MAC-Ego3D supports efficient RGB-D rendering, enabling rapid inter-agent Gaussian association and alignment. MAC-Ego3D bridges local precision and global coherence, delivering higher efficiency, largely reducing localization error, and improving mapping fidelity. It establishes a new SOTA on synthetic and real-world benchmarks, achieving a 15x increase in inference speed, order-of-magnitude reductions in ego-motion estimation error for partial cases, and RGB PSNR gains of 4 to 10 dB. Our code will be made publicly available at https://github.com/Xiaohao-Xu/MAC-Ego3D .
- Abstract（参考訳）: エゴモーション推定と高忠実度3D再構成のためのリアルタイムマルチエージェントコラボレーションは、スケーラブルな空間知能にとって不可欠である。
しかし、従来の手法では疎小で低詳細なマップが生成され、近年では高レイテンシで高密度なマッピングアプローチが苦労している。
これらの課題を克服するために,マルチエージェント・ガウス・コンセンサスを用いたリアルタイム協調光リアルな3D再構成フレームワークMAC-Ego3Dを提案する。
MAC-Ego3Dは、エージェントが統一されたガウススプラット表現を使用して、独立してローカルマップを構築し、調整し、反復的に洗練することを可能にする。
エージェント・ガウシアン・コンセンサス(英語版)を通じて、エージェント内の隣接するガウシアン・スプラット間の空間的コヒーレンスを強制する。
グローバルアライメントでは,マルチエージェントのガウスプレートを正規化することで局所マップを非同期に整列し,最適化する並列化のInter-Agent Gaussian Consensusが,高忠実度3Dモデルにシームレスに統合される。
MAC-Ego3Dはガウスのプリミティブを活用し、効率的なRGB-Dレンダリングをサポートし、ガウス間の高速なアライメントとアライメントを可能にする。
MAC-Ego3Dは局所精度とグローバルコヒーレンスをブリッジし、高い効率を提供し、ローカライゼーションエラーを大幅に低減し、マッピングの忠実度を向上する。
合成および実世界のベンチマークに新たなSOTAを確立し、推論速度の15倍の高速化、部分ケースの自我運動推定誤差のオーダー・オブ・マグニチュード削減、RGB PSNRの4から10dBを達成した。
私たちのコードはhttps://github.com/Xiaohao-Xu/MAC-Ego3Dで公開されます。
関連論文リスト
- MAGiC-SLAM: Multi-Agent Gaussian Globally Consistent SLAM [23.318966306555915]
同時ローカライゼーションとマッピング(SLAM)システムは、拡張現実、ロボティクス、自律運転など、コンピュータビジョンで広く使われている。
近年の研究では、分散ニューラルシーン表現を用いてこの問題に対処している。
本稿では,厳格に変形可能な3次元ガウス型シーン表現を提案する。
合成および実世界のデータセット上でMAGiC-SLAMを評価し,その精度と精度について検討した。
論文 参考訳（メタデータ） (2024-11-25T08:34:01Z) - Efficient Perspective-Correct 3D Gaussian Splatting Using Hybrid Transparency [6.119688280076556]
3D Gaussian (3DGS)は、リバースレンダリングとリアルタイムなシーン探索の両方のために、多用途レンダリングプリミティブを証明している。
最近の研究は多視点コヒーレンスを損なうアーティファクトを緩和し始めており、その中には不整合な透明性ソートや2Dスプラットの視点修正アウトラインによるアーティファクトのポップアップが含まれていた。
本研究では, リアルタイムフレームレートを維持するために, 高精度なブレンディング, ハイブリッド透明性の高精度な近似を用いて, 完全視点補正された3次元ガウスアンを最大コヒーレンスを達成することを目的としている。
論文 参考訳（メタデータ） (2024-10-10T17:14:16Z) - GSFusion: Online RGB-D Mapping Where Gaussian Splatting Meets TSDF Fusion [12.964675001994124]
従来の融合アルゴリズムは3次元シーンの空間構造を保存する。
ヴィジュアライゼーションの面では現実主義を欠いていることが多い。
GSFusionはレンダリング品質を犠牲にすることなく計算効率を大幅に向上させる。
論文 参考訳（メタデータ） (2024-08-22T18:32:50Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。
また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats [20.833116566243408]
本稿では,Gaussianを3D GANの3次元表現として利用し,その効率的かつ明示的な特徴を活用する。
生成したガウスの位置とスケールを効果的に正規化する階層的多スケールガウス表現を持つジェネレータアーキテクチャを導入する。
実験結果から,最先端の3D一貫したGANと比較して,レンダリング速度(x100)が大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-06-05T05:52:20Z) - Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳（メタデータ） (2024-05-26T12:26:54Z) - RTG-SLAM: Real-time 3D Reconstruction at Scale using Gaussian Splatting [51.51310922527121]
ガウススプラッティングを用いた大規模環境のためのRGBDカメラを用いたリアルタイム3D再構成システムを提案する。
それぞれのガウス語は不透明かほぼ透明で、不透明なものは表面色と支配的な色に、透明なものは残留色に適合する。
様々な大きなシーンをリアルタイムに再現し、新しいビュー合成とカメラトラッキングの精度のリアリズムにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-30T16:54:59Z) - CompGS: Efficient 3D Scene Representation via Compressed Gaussian Splatting [68.94594215660473]
Compressed Gaussian Splatting (CompGS) という,効率的な3次元シーン表現を提案する。
我々は少数のアンカープリミティブを予測に利用し、プリミティブの大多数を非常にコンパクトな残留形にカプセル化することができる。
実験の結果,提案手法は既存の手法よりも優れており,モデル精度とレンダリング品質を損なうことなく,3次元シーン表現のコンパクト性に優れていた。
論文 参考訳（メタデータ） (2024-04-15T04:50:39Z) - latentSplat: Autoencoding Variational Gaussians for Fast Generalizable 3D Reconstruction [48.86083272054711]
latentSplatは3D潜在空間における意味ガウスを予測し、軽量な生成型2Dアーキテクチャで切り落としてデコードする手法である。
latentSplatは、高速でスケーラブルで高解像度なデータでありながら、復元品質と一般化におけるこれまでの成果よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-03-24T20:48:36Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。