論文の概要: Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance

• arxiv url: http://arxiv.org/abs/2412.02249v1
• Date: Tue, 03 Dec 2024 08:27:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.922225
• Title: Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance
• Title（参考訳）: セマンティックガイダンスを用いたガウススプラッティングを用いたマルチロボット自律3次元再構築
• Authors: Jing Zeng, Qi Ye, Tianle Liu, Yang Xu, Jin Li, Jinming Xu, Liang Li, Jiming Chen,
• Abstract要約: 暗黙の神経表現と3次元ガウススプラッティング(3DGS)はシーン再構成に大きな可能性を示している。 近年,タスク割り当て手法による自律的再構築への応用が拡大している。 本稿では,最初の3DGSに基づく集中型マルチロボット自律型3D再構築フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.631273098468384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit neural representations and 3D Gaussian splatting (3DGS) have shown great potential for scene reconstruction. Recent studies have expanded their applications in autonomous reconstruction through task assignment methods. However, these methods are mainly limited to single robot, and rapid reconstruction of large-scale scenes remains challenging. Additionally, task-driven planning based on surface uncertainty is prone to being trapped in local optima. To this end, we propose the first 3DGS-based centralized multi-robot autonomous 3D reconstruction framework. To further reduce time cost of task generation and improve reconstruction quality, we integrate online open-vocabulary semantic segmentation with surface uncertainty of 3DGS, focusing view sampling on regions with high instance uncertainty. Finally, we develop a multi-robot collaboration strategy with mode and task assignments improving reconstruction quality while ensuring planning efficiency. Our method demonstrates the highest reconstruction quality among all planning methods and superior planning efficiency compared to existing multi-robot methods. We deploy our method on multiple robots, and results show that it can effectively plan view paths and reconstruct scenes with high quality.
• Abstract（参考訳）: 暗黙の神経表現と3次元ガウススプラッティング(3DGS)はシーン再構成に大きな可能性を示している。 近年,タスク割り当て手法による自律的再構築への応用が拡大している。 しかし,これらの手法は主に単一ロボットに限られており,大規模シーンの迅速な再構築は依然として困難である。 さらに、表面の不確実性に基づくタスク駆動型プランニングは、局所最適に閉じ込められがちである。 そこで本研究では,最初の3DGSに基づく集中型マルチロボット自律型3D再構築フレームワークを提案する。 タスク生成の時間コストをさらに削減し、再構築品質を向上させるため、オンラインのオープン語彙セマンティックセマンティックセマンティクスを3DGSの表面不確実性と統合し、高インスタンス不確実性のある領域のビューサンプリングに焦点を当てる。 最後に, 計画効率を確保しつつ, 再現性の向上を図るため, モードとタスクを割り当てたマルチロボット協調戦略を開発する。 提案手法は,既存のマルチロボット手法と比較して,すべての計画手法の中で最も高い再現性を示し,計画効率も優れている。 提案手法を複数のロボットに展開し,ビューパスを効果的に計画し,高品質なシーンを再構築できることを示す。

関連論文リスト

• Regist3R: Incremental Registration with Stereo Foundation Model [11.220655907305515]
  コンピュータビジョンの分野では、マルチビュー3D再構成は不可欠だが難しい問題である。 本稿では,効率的かつスケーラブルな漸進的再構築に適した新しいステレオ基礎モデルであるRegist3Rを提案する。 カメラポーズ推定と3次元再構成のための公開データセット上でRegist3Rを評価する。
  論文  参考訳（メタデータ） (2025-04-16T02:46:53Z)
• FreeSplat++: Generalizable 3D Gaussian Splatting for Efficient Indoor Scene Reconstruction [50.534213038479926]
  FreeSplat++は大規模な屋内全シーン再構築の代替手法である。 深度調整による微調整により,再現精度が大幅に向上し,トレーニング時間も大幅に短縮された。
  論文  参考訳（メタデータ） (2025-03-29T06:22:08Z)
• LHM: Large Animatable Human Reconstruction Model from a Single Image in Seconds [21.99354901986186]
  フィードフォワードパスで3次元ガウススプラッティングを表現した高忠実度アバターを推定するためのLHM(Large Animatable Human Reconstruction Model)を提案する。 本モデルでは,マルチモーダルトランスフォーマーアーキテクチャを用いて,人体の位置や画像の特徴を効果的に符号化する。 我々のLHMは、顔と手を後処理することなく、数秒で可塑性アニマタブルな人間を生成し、再現精度と一般化能力の両方において既存の手法より優れています。
  論文  参考訳（メタデータ） (2025-03-13T17:59:21Z)
• T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
  映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。 我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
  論文  参考訳（メタデータ） (2024-11-29T07:45:24Z)
• UW-SDF: Exploiting Hybrid Geometric Priors for Neural SDF Reconstruction from Underwater Multi-view Monocular Images [63.32490897641344]
  ニューラルSDFに基づく多視点水中画像から対象物を再構成するフレームワークを提案する。 再建過程を最適化するためのハイブリッドな幾何学的先行手法を導入し、神経SDF再建の質と効率を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-10T16:33:56Z)
• Frequency-based View Selection in Gaussian Splatting Reconstruction [9.603843571051744]
  入力画像の少ない3次元ガウススプラッティング再構成を行うためのアクティブビュー選択の問題について検討する。 周波数領域の潜在的なビューをランク付けすることで、新しい視点の潜在的な情報ゲインを効果的に推定することができる。 提案手法は,画像による3次元再構成を効果的に行う可能性を示し,ビュー選択の最先端性を実現する。
  論文  参考訳（メタデータ） (2024-09-24T21:44:26Z)
• Autonomous Implicit Indoor Scene Reconstruction with Frontier Exploration [10.975244524831696]
  暗黙の神経表現は3Dシーンの再構築に有意な可能性を証明している。 最近の研究は、Next Best View (NBV) ベースの手法により、自律的な暗黙的再構築に応用を拡大している。 本研究では,表層不確実性に基づく再構築作業にフロンティアベースの探索タスクを組み込むことを提案する。
  論文  参考訳（メタデータ） (2024-04-16T01:59:03Z)
• 3D Reconstruction in Noisy Agricultural Environments: A Bayesian Optimization Perspective for View Planning [30.93026905477516]
  ビュープランニング(VP)は、視覚情報を最大化する位置に、一定の数のカメラを最適に配置することを目的としている。 既存の環境騒音は3次元再構成の性能に大きな影響を及ぼす可能性がある。 本研究は,ノイズの存在下での高精度な3次元再構成のための適応ベイズ最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-29T21:09:02Z)
• Improving Neural Indoor Surface Reconstruction with Mask-Guided Adaptive Consistency Constraints [0.6749750044497732]
  本稿では、ビュー依存色とビュー非依存色を分離する2段階のトレーニングプロセスを提案し、さらに2つの新しい一貫性制約を活用して、余分な事前処理を必要とせず、詳細な再構成性能を向上させる。 合成および実世界のデータセットの実験は、事前推定誤差から干渉を減らす能力を示している。
  論文  参考訳（メタデータ） (2023-09-18T13:05:23Z)
• R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
  R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。 提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。 この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
  論文  参考訳（メタデータ） (2023-08-28T17:13:49Z)
• Learning Reconstructability for Drone Aerial Path Planning [51.736344549907265]
  本研究では,無人ドローンを用いた大規模3次元都市景観獲得のためのビューとパスプランニングを改善するための,学習に基づく最初の再構成可能性予測器を提案する。 従来の手法とは対照的に,本手法では,一組の視点から3次元都市景観をいかによく再構築するかを明示的に予測するモデルを学習する。
  論文  参考訳（メタデータ） (2022-09-21T08:10:26Z)
• NeurAR: Neural Uncertainty for Autonomous 3D Reconstruction [64.36535692191343]
  暗黙の神経表現はオフラインの3D再構成において魅力的な結果を示しており、オンラインSLAMシステムの可能性も最近示している。 本論文は,1)新しい表現に基づく視点計画の質を評価するための基準を求めること,2)手作りではなく,異なる場面に一般化可能なデータから基準を学習すること,の2つの課題に対処する。 本手法は, TSDFを用いた変形モデルやビュープランニングなしでの再構成モデルと比較した場合, レンダリングされた画像品質と再構成された3次元モデルの幾何学的品質について, 様々な指標について有意な改善を示す。
  論文  参考訳（メタデータ） (2022-07-22T10:05:36Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Multi-initialization Optimization Network for Accurate 3D Human Pose and Shape Estimation [75.44912541912252]
  我々はMulti-Initialization Optimization Network(MION)という3段階のフレームワークを提案する。 第1段階では,入力サンプルの2次元キーポイントに適合する粗い3次元再構成候補を戦略的に選択する。 第2段階では, メッシュ改質トランス (MRT) を設計し, 自己保持機構を用いて粗い再構成結果をそれぞれ洗練する。 最後に,RGB画像の視覚的証拠が与えられた3次元再構成と一致するかどうかを評価することで,複数の候補から最高の結果を得るために,一貫性推定ネットワーク(CEN)を提案する。
  論文  参考訳（メタデータ） (2021-12-24T02:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。