論文の概要: Multimodal LLM Guided Exploration and Active Mapping using Fisher Information

• arxiv url: http://arxiv.org/abs/2410.17422v2
• Date: Wed, 04 Dec 2024 22:03:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:36:49.188740
• Title: Multimodal LLM Guided Exploration and Active Mapping using Fisher Information
• Title（参考訳）: 漁業情報を用いたマルチモーダルLLMガイド探査とアクティブマッピング
• Authors: Wen Jiang, Boshu Lei, Katrina Ashton, Kostas Daniilidis,
• Abstract要約: 本稿では,3次元ガウススプラッティング表現を用いた長期探査目標と短期行動のためのアクティブマッピングシステムを提案する。 GibsonとHabitat-Matterportの3Dデータセットで行った実験は、提案手法の最先端の結果を示している。
• 参考スコア（独自算出の注目度）: 26.602364433232445
• License:
• Abstract: We present an active mapping system that could plan for long-horizon exploration goals and short-term actions with a 3D Gaussian Splatting (3DGS) representation. Existing methods either did not take advantage of recent developments in multimodal Large Language Models (LLM) or did not consider challenges in localization uncertainty, which is critical in embodied agents. We propose employing multimodal LLMs for long-horizon planning in conjunction with detailed motion planning using our information-based algorithm. By leveraging high-quality view synthesis from our 3DGS representation, our method employs a multimodal LLM as a zero-shot planner for long-horizon exploration goals from the semantic perspective. We also introduce an uncertainty-aware path proposal and selection algorithm that balances the dual objectives of maximizing the information gain for the environment while minimizing the cost of localization errors. Experiments conducted on the Gibson and Habitat-Matterport 3D datasets demonstrate state-of-the-art results of the proposed method.
• Abstract（参考訳）: 本稿では,3次元ガウススプラッティング(3DGS)表現を用いた長期探査目標と短期行動のためのアクティブマッピングシステムを提案する。 既存の手法は, マルチモーダル大規模言語モデル (LLM) の最近の発展を生かしてはいない。 本稿では,多モードLLMを用いた長期計画と情報ベースアルゴリズムを用いた詳細な動き計画を提案する。 我々の3DGS表現から高品質なビュー合成を活用することで、セマンティックの観点からの長期探査目標のためのゼロショットプランナーとしてマルチモーダルLCMを用いる。 また,環境情報ゲインの最大化と局所化誤差の最小化の両目的を両立させる不確実性認識経路の提案と選択アルゴリズムも導入する。 GibsonとHabitat-Matterportの3Dデータセットで行った実験は、提案手法の最先端の結果を示している。

関連論文リスト

• Mode-GS: Monocular Depth Guided Anchored 3D Gaussian Splatting for Robust Ground-View Scene Rendering [47.879695094904015]
  そこで本研究では,地上ロボット軌道データセットのための新しいビューレンダリングアルゴリズムであるMode-GSを提案する。 提案手法は,既存の3次元ガウススプラッティングアルゴリズムの限界を克服する目的で,アンカー付きガウススプラッターを用いている。 提案手法は,PSNR,SSIM,LPIPSの計測値に基づいて,自由軌道パターンを持つ地上環境におけるレンダリング性能を向上する。
  論文  参考訳（メタデータ） (2024-10-06T23:01:57Z)
• Towards Real-Time Gaussian Splatting: Accelerating 3DGS through Photometric SLAM [4.08109886949724]
  我々は,モノクロ光度SLAMシステムであるDirect Sparse Odometryと3DGSを統合することを提案する。 予備実験により, 直接スパースオドメトリーを用いたクラウド出力は, 標準構造と対照的に, 高品質なレンダリングを実現するのに必要なトレーニング時間を著しく短縮することが示された。
  論文  参考訳（メタデータ） (2024-08-07T15:01:08Z)
• IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
  3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。 本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。 我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
  論文  参考訳（メタデータ） (2024-08-02T09:07:31Z)
• MotionGS : Compact Gaussian Splatting SLAM by Motion Filter [10.979138131565238]
  NeRFベースのSLAMは急増しているが、3DGSベースのSLAMは希薄である。 本稿では, 深部視覚特徴, 二重選択, 3DGSを融合した新しい3DGSベースのSLAM手法を提案する。
  論文  参考訳（メタデータ） (2024-05-18T00:47:29Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• CG-SLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field [46.8198987091734]
  本稿では,新しい不確実性を考慮した3次元ガウス場に基づく高密度RGB-D SLAMシステム,すなわちCG-SLAMを提案する。 各種データセットの実験により、CG-SLAMは、最大15Hzの追従速度で優れた追従性能とマッピング性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-24T11:19:59Z)
• GaussianPro: 3D Gaussian Splatting with Progressive Propagation [49.918797726059545]
  3DGSはStructure-from-Motion (SfM)技術によって生成されるポイントクラウドに大きく依存している。 本稿では, 3次元ガウスの密度化を導くために, プログレッシブ・プログレッシブ・プログレッシブ・ストラテジーを適用した新しい手法を提案する。 提案手法はデータセット上の3DGSを大幅に上回り,PSNRでは1.15dBの改善が見られた。
  論文  参考訳（メタデータ） (2024-02-22T16:00:20Z)
• MoD-SLAM: Monocular Dense Mapping for Unbounded 3D Scene Reconstruction [2.3630527334737104]
  MoD-SLAMは、非有界シーンにおけるリアルタイムな3次元再構成を可能にする、最初のモノクラーNeRFを用いた高密度マッピング法である。 追跡処理にロバストな深度損失項を導入することにより,大規模シーンにおけるより正確なポーズ推定を実現する。 2つの標準データセットを用いた実験により, MoD-SLAMは競争性能を向上し, 3次元再構成の精度を最大30%, 15%向上した。
  論文  参考訳（メタデータ） (2024-02-06T07:07:33Z)
• FIT-SLAM -- Fisher Information and Traversability estimation-based Active SLAM for exploration in 3D environments [1.4474137122906163]
  アクティブビジュアルSLAMは、地上ロボットのためのデニッドサブテレイン環境と屋外環境における幅広い応用を見出す。 探索ミッション中に目標選択と目標に向けた経路計画に知覚的考察を取り入れることが不可欠である。 本研究では,無人地上車両(UGV)を対象とした新しい探査手法であるFIT-SLAMを提案する。
  論文  参考訳（メタデータ） (2024-01-17T16:46:38Z)
• A Survey on 3D Gaussian Splatting [51.96747208581275]
  3D Gaussian splatting (GS) は、明示的なラディアンス場とコンピュータグラフィックスの領域において、トランスフォーメーション技術として登場した。 本稿では,3D GSの領域における最近の発展と重要な貢献について,初めて体系的に概説する。 前例のないレンダリング速度を実現することで、3D GSは、仮想現実からインタラクティブメディアなど、数多くのアプリケーションを開くことができる。
  論文  参考訳（メタデータ） (2024-01-08T13:42:59Z)
• GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
  我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。 提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。 提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
  論文  参考訳（メタデータ） (2023-11-20T12:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。