論文の概要: Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance

• arxiv url: http://arxiv.org/abs/2412.02249v1
• Date: Tue, 03 Dec 2024 08:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:42:21.723067
• Title: Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance
• Title（参考訳）: セマンティックガイダンスを用いたガウススプラッティングを用いたマルチロボット自律3次元再構築
• Authors: Jing Zeng, Qi Ye, Tianle Liu, Yang Xu, Jin Li, Jinming Xu, Liang Li, Jiming Chen,
• Abstract要約: 暗黙の神経表現と3次元ガウススプラッティング(3DGS)はシーン再構成に大きな可能性を示している。 近年,タスク割り当て手法による自律的再構築への応用が拡大している。 本稿では,最初の3DGSに基づく集中型マルチロボット自律型3D再構築フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.631273098468384
• License:
• Abstract: Implicit neural representations and 3D Gaussian splatting (3DGS) have shown great potential for scene reconstruction. Recent studies have expanded their applications in autonomous reconstruction through task assignment methods. However, these methods are mainly limited to single robot, and rapid reconstruction of large-scale scenes remains challenging. Additionally, task-driven planning based on surface uncertainty is prone to being trapped in local optima. To this end, we propose the first 3DGS-based centralized multi-robot autonomous 3D reconstruction framework. To further reduce time cost of task generation and improve reconstruction quality, we integrate online open-vocabulary semantic segmentation with surface uncertainty of 3DGS, focusing view sampling on regions with high instance uncertainty. Finally, we develop a multi-robot collaboration strategy with mode and task assignments improving reconstruction quality while ensuring planning efficiency. Our method demonstrates the highest reconstruction quality among all planning methods and superior planning efficiency compared to existing multi-robot methods. We deploy our method on multiple robots, and results show that it can effectively plan view paths and reconstruct scenes with high quality.
• Abstract（参考訳）: 暗黙の神経表現と3次元ガウススプラッティング(3DGS)はシーン再構成に大きな可能性を示している。 近年,タスク割り当て手法による自律的再構築への応用が拡大している。 しかし,これらの手法は主に単一ロボットに限られており,大規模シーンの迅速な再構築は依然として困難である。 さらに、表面の不確実性に基づくタスク駆動型プランニングは、局所最適に閉じ込められがちである。 そこで本研究では,最初の3DGSに基づく集中型マルチロボット自律型3D再構築フレームワークを提案する。 タスク生成の時間コストをさらに削減し、再構築品質を向上させるため、オンラインのオープン語彙セマンティックセマンティックセマンティクスを3DGSの表面不確実性と統合し、高インスタンス不確実性のある領域のビューサンプリングに焦点を当てる。 最後に, 計画効率を確保しつつ, 再現性の向上を図るため, モードとタスクを割り当てたマルチロボット協調戦略を開発する。 提案手法は,既存のマルチロボット手法と比較して,すべての計画手法の中で最も高い再現性を示し,計画効率も優れている。 提案手法を複数のロボットに展開し,ビューパスを効果的に計画し,高品質なシーンを再構築できることを示す。

関連論文リスト

• Radiant: Large-scale 3D Gaussian Rendering based on Hierarchical Framework [13.583584930991847]
  大規模シーン再構成のための階層型3DGSアルゴリズムであるRadiantを提案する。 Radiantは、リビルド品質を最大25.7%改善し、エンドツーエンドのレイテンシを79.6%削減した。
  論文  参考訳（メタデータ） (2024-12-07T05:48:00Z)
• UW-SDF: Exploiting Hybrid Geometric Priors for Neural SDF Reconstruction from Underwater Multi-view Monocular Images [63.32490897641344]
  ニューラルSDFに基づく多視点水中画像から対象物を再構成するフレームワークを提案する。 再建過程を最適化するためのハイブリッドな幾何学的先行手法を導入し、神経SDF再建の質と効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-10T16:33:56Z)
• Frequency-based View Selection in Gaussian Splatting Reconstruction [9.603843571051744]
  入力画像の少ない3次元ガウススプラッティング再構成を行うためのアクティブビュー選択の問題について検討する。 周波数領域の潜在的なビューをランク付けすることで、新しい視点の潜在的な情報ゲインを効果的に推定することができる。 提案手法は,画像による3次元再構成を効果的に行う可能性を示し,ビュー選択の最先端性を実現する。
  論文  参考訳（メタデータ） (2024-09-24T21:44:26Z)
• Autonomous Implicit Indoor Scene Reconstruction with Frontier Exploration [10.975244524831696]
  暗黙の神経表現は3Dシーンの再構築に有意な可能性を証明している。 最近の研究は、Next Best View (NBV) ベースの手法により、自律的な暗黙的再構築に応用を拡大している。 本研究では,表層不確実性に基づく再構築作業にフロンティアベースの探索タスクを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-04-16T01:59:03Z)
• 3D Reconstruction in Noisy Agricultural Environments: A Bayesian Optimization Perspective for View Planning [30.93026905477516]
  ビュープランニング(VP)は、視覚情報を最大化する位置に、一定の数のカメラを最適に配置することを目的としている。 既存の環境騒音は3次元再構成の性能に大きな影響を及ぼす可能性がある。 本研究は,ノイズの存在下での高精度な3次元再構成のための適応ベイズ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-29T21:09:02Z)
• R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
  R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。 提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。 この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
  論文  参考訳（メタデータ） (2023-08-28T17:13:49Z)
• Learning Reconstructability for Drone Aerial Path Planning [51.736344549907265]
  本研究では,無人ドローンを用いた大規模3次元都市景観獲得のためのビューとパスプランニングを改善するための,学習に基づく最初の再構成可能性予測器を提案する。 従来の手法とは対照的に,本手法では,一組の視点から3次元都市景観をいかによく再構築するかを明示的に予測するモデルを学習する。
  論文  参考訳（メタデータ） (2022-09-21T08:10:26Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。