論文の概要: NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM

• arxiv url: http://arxiv.org/abs/2303.13654v2
• Date: Wed, 29 Mar 2023 15:12:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 17:31:27.596697
• Title: NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM
• Title（参考訳）: NEWTON:オンザフライ大規模SLAMのためのニューラルビュー中心マッピング
• Authors: Hidenobu Matsuki, Keisuke Tateno, Michael Niemeyer, Federico Tombari
• Abstract要約: Newtonは、リアルタイム観測に基づいて動的にニューラルネットワークを構築するビュー中心のマッピング手法である。 本手法は,複数のニューラルネットワークを用いてシーンを表現することで,ループクロージャとシーン境界更新を用いたカメラポーズ更新を可能にする。 実験の結果,既存の世界中心型ニューラルネットワークSLAMシステムよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 51.21564182169607
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural field-based 3D representations have recently been adopted in many areas including SLAM systems. Current neural SLAM or online mapping systems lead to impressive results in the presence of simple captures, but they rely on a world-centric map representation as only a single neural field model is used. To define such a world-centric representation, accurate and static prior information about the scene, such as its boundaries and initial camera poses, are required. However, in real-time and on-the-fly scene capture applications, this prior knowledge cannot be assumed as fixed or static, since it dynamically changes and it is subject to significant updates based on run-time observations. Particularly in the context of large-scale mapping, significant camera pose drift is inevitable, necessitating the correction via loop closure. To overcome this limitation, we propose NEWTON, a view-centric mapping method that dynamically constructs neural fields based on run-time observation. In contrast to prior works, our method enables camera pose updates using loop closures and scene boundary updates by representing the scene with multiple neural fields, where each is defined in a local coordinate system of a selected keyframe. The experimental results demonstrate the superior performance of our method over existing world-centric neural field-based SLAM systems, in particular for large-scale scenes subject to camera pose updates.
• Abstract（参考訳）: ニューラルフィールドに基づく3d表現は最近、slamシステムを含む多くの領域で採用されている。 現在のニューラルSLAMやオンラインマッピングシステムは、単純なキャプチャの存在によって印象的な結果をもたらすが、単一のニューラルネットワークモデルのみを使用するため、世界中心のマップ表現に依存している。 このような世界中心の表現を定義するには、境界や初期カメラポーズといったシーンに関する正確で静的な事前情報が必要である。 しかし、リアルタイムおよびオンザフライのシーンキャプチャアプリケーションでは、動的に変化し、実行時の観察に基づいて重要な更新を受けるため、この事前知識を固定あるいは静的と仮定することはできない。 特に大規模マッピングの文脈では、重要なカメラポーズドリフトは避けられず、ループクロージャによる補正が必要となる。 この制限を克服するために,ランタイム観測に基づいて動的にニューラルネットワークを構築するビュー中心マッピング手法NEWTONを提案する。 先行研究とは対照的に,選択したキーフレームの局所座標系において,シーンを複数のニューラルネットワークで表現することにより,ループクロージャとシーン境界更新を用いてカメラのポーズ更新を可能にする。 実験結果は,既存の世界中心のニューラルネットワークを用いたスラムシステム,特にカメラのポーズ更新を受ける大規模シーンにおいて優れた性能を示す。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• OmniLocalRF: Omnidirectional Local Radiance Fields from Dynamic Videos [14.965321452764355]
  我々はOmnidirectional Local Radiance Fields (OmniLocalRF)と呼ばれる新しいアプローチを導入し、静的のみのシーンビューをレンダリングする。 本手法は局所放射界の原理と全方位光の双方向最適化を組み合わせたものである。 実験により,OmniLocalRFは定性的,定量的に既存手法より優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-31T12:55:05Z)
• NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
  我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。 各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
  論文  参考訳（メタデータ） (2024-03-29T07:59:37Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation [21.111919718001907]
  提案する3次元シーン表現Nerfelsは局所的に密度が高いが,世界規模では疎い。 我々は、レンダリング可能なコードでシーンに依存しないローカルな3Dパッチを表現するために、機能駆動のアプローチを採用する。 我々のモデルは、既存の最先端の手作り・学習型特徴推定装置に組み込むことができ、広いカメラベースラインシナリオでScanNetを評価する際に、性能が向上する。
  論文  参考訳（メタデータ） (2022-06-04T06:29:46Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。