論文の概要: MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation

• arxiv url: http://arxiv.org/abs/2411.08279v1
• Date: Wed, 13 Nov 2024 01:38:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:30.549338
• Title: MBA-SLAM: Motion Blur Aware Dense Visual SLAM with Radiance Fields Representation
• Title（参考訳）: MBA-SLAM: 放射場表現による視覚SLAM
• Authors: Peng Wang, Lingzhe Zhao, Yin Zhang, Shiyu Zhao, Peidong Liu,
• Abstract要約: 本研究では、重度動きブルレッド入力を処理するための高密度視覚SLAMパイプライン(MBA-SLAM)を提案する。 提案手法では,効率的な運動ぼかし対応トラッカーをニューラルネットワークとガウススプラッティングベースのマッパーに統合する。 MBA-SLAMは、カメラのローカライゼーションとマップ再構成の両方において、従来の最先端手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 15.752529196306648
• License:
• Abstract: Emerging 3D scene representations, such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), have demonstrated their effectiveness in Simultaneous Localization and Mapping (SLAM) for photo-realistic rendering, particularly when using high-quality video sequences as input. However, existing methods struggle with motion-blurred frames, which are common in real-world scenarios like low-light or long-exposure conditions. This often results in a significant reduction in both camera localization accuracy and map reconstruction quality. To address this challenge, we propose a dense visual SLAM pipeline (i.e. MBA-SLAM) to handle severe motion-blurred inputs. Our approach integrates an efficient motion blur-aware tracker with either neural radiance fields or Gaussian Splatting based mapper. By accurately modeling the physical image formation process of motion-blurred images, our method simultaneously learns 3D scene representation and estimates the cameras' local trajectory during exposure time, enabling proactive compensation for motion blur caused by camera movement. In our experiments, we demonstrate that MBA-SLAM surpasses previous state-of-the-art methods in both camera localization and map reconstruction, showcasing superior performance across a range of datasets, including synthetic and real datasets featuring sharp images as well as those affected by motion blur, highlighting the versatility and robustness of our approach. Code is available at https://github.com/WU-CVGL/MBA-SLAM.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)や3Dガウススプラッティング(3DGS)のような新しい3Dシーン表現は、特に高品質な映像シーケンスを入力として使用する場合、写真リアリスティックレンダリングのための同時局所化とマッピング(SLAM)においてその効果を実証している。 しかし、既存の方法では、低照度や長時間露光といった現実のシナリオでよく見られるモーションブルーフレームに苦しむ。 これはしばしば、カメラのローカライゼーション精度とマップ再構成品質の両方を著しく低下させる。 この課題に対処するため、重度動きブルレッド入力を処理するための高密度視覚SLAMパイプライン(MBA-SLAM)を提案する。 提案手法は, 高速な運動ぼかし対応トラッカーと, ニューラルレイディアンスフィールド, ガウススプラッティングベースのマッパーを併用する。 動きブル画像の物理的画像形成過程を正確にモデル化することにより,3次元シーン表現を同時に学習し,露出時のカメラの局所軌跡を推定し,カメラの動きによる動きのぼけに対する積極的な補償を可能にする。 我々の実験では、MBA-SLAMがカメラのローカライゼーションとマップ再構成の両方において従来の最先端の手法を超越し、シャープな画像を含む合成データセットや実データセット、動きのぼかしの影響を受け、我々のアプローチの汎用性と堅牢性を強調した。 コードはhttps://github.com/WU-CVGL/MBA-SLAMで入手できる。

関連論文リスト

• GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring [50.72230109855628]
  本稿では,新しい手法を用いて合成されたリアルなぼやけた画像のデータセットであるGS-Blurを提案する。 まず,3Dガウス・スプレイティング(3DGS)を用いて多視点画像から3Dシーンを再構成し,ランダムに生成された運動軌跡に沿ってカメラビューを移動させてぼやけた画像を描画する。 GS-Blurの再構築に様々なカメラトラジェクトリを採用することで、我々のデータセットは現実的で多様な種類のぼかしを含み、現実世界のぼかしをうまく一般化する大規模なデータセットを提供する。
  論文  参考訳（メタデータ） (2024-10-31T06:17:16Z)
• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• I$^2$-SLAM: Inverting Imaging Process for Robust Photorealistic Dense SLAM [10.464532720114052]
  カジュアルビデオは、しばしば動きのぼやけや様々な外観に悩まされ、コヒーレントな3D視覚表現の最終的な品質を低下させる。 本稿では、線形HDR放射率マップを用いて測定値の収集を行うSLAMシステムに物理画像を統合することを提案する。
  論文  参考訳（メタデータ） (2024-07-16T03:31:33Z)
• MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
  カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。 我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。 また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
  論文  参考訳（メタデータ） (2024-04-01T04:57:41Z)
• Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion [25.54868552979793]
  本稿では,カメラの動きに適応し,手持ち映像データを用いた高品質なシーン再構成を実現する手法を提案する。 合成データと実データの両方を用いて、既存の手法よりもカメラの動きを軽減できる性能を示した。
  論文  参考訳（メタデータ） (2024-03-20T06:19:41Z)
• BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting [8.380954205255104]
  BAD-Gaussianは、不正確なカメラのポーズで、激しい動きをブラインドした画像を処理するための新しいアプローチである。 提案手法は,従来の最先端のデブルーニューラルレンダリング手法と比較して,優れたレンダリング品質を実現する。
  論文  参考訳（メタデータ） (2024-03-18T14:43:04Z)
• Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting [24.160436463991495]
  本稿では3次元ガウスアンをシーン表現として用いたSLAM法を提案する。 本手法は,実世界のシングルカメラRGBDビデオから,インタラクティブなリアルタイム再構成と写真リアルレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-12-06T10:47:53Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• ExBluRF: Efficient Radiance Fields for Extreme Motion Blurred Images [58.24910105459957]
  極端運動ぼかし画像の新しいビュー合成法であるExBluRFを提案する。 提案手法は,6-DOFカメラトラジェクトリをベースとしたモーションブラー定式化と,ボクセルをベースとした放射場からなる。 既存の作業と比較して、トレーニング時間とGPUメモリ使用量の10倍の順序で、よりシャープな3Dシーンを復元する。
  論文  参考訳（メタデータ） (2023-09-16T11:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。