論文の概要: NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM
- arxiv url: http://arxiv.org/abs/2303.13654v2
- Date: Wed, 29 Mar 2023 15:12:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 17:31:27.596697
- Title: NEWTON: Neural View-Centric Mapping for On-the-Fly Large-Scale SLAM
- Title(参考訳): NEWTON:オンザフライ大規模SLAMのためのニューラルビュー中心マッピング
- Authors: Hidenobu Matsuki, Keisuke Tateno, Michael Niemeyer, Federico Tombari
- Abstract要約: Newtonは、リアルタイム観測に基づいて動的にニューラルネットワークを構築するビュー中心のマッピング手法である。
本手法は,複数のニューラルネットワークを用いてシーンを表現することで,ループクロージャとシーン境界更新を用いたカメラポーズ更新を可能にする。
実験の結果,既存の世界中心型ニューラルネットワークSLAMシステムよりも優れた性能を示した。
- 参考スコア(独自算出の注目度): 51.21564182169607
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural field-based 3D representations have recently been adopted in many
areas including SLAM systems. Current neural SLAM or online mapping systems
lead to impressive results in the presence of simple captures, but they rely on
a world-centric map representation as only a single neural field model is used.
To define such a world-centric representation, accurate and static prior
information about the scene, such as its boundaries and initial camera poses,
are required. However, in real-time and on-the-fly scene capture applications,
this prior knowledge cannot be assumed as fixed or static, since it dynamically
changes and it is subject to significant updates based on run-time
observations. Particularly in the context of large-scale mapping, significant
camera pose drift is inevitable, necessitating the correction via loop closure.
To overcome this limitation, we propose NEWTON, a view-centric mapping method
that dynamically constructs neural fields based on run-time observation. In
contrast to prior works, our method enables camera pose updates using loop
closures and scene boundary updates by representing the scene with multiple
neural fields, where each is defined in a local coordinate system of a selected
keyframe. The experimental results demonstrate the superior performance of our
method over existing world-centric neural field-based SLAM systems, in
particular for large-scale scenes subject to camera pose updates.
- Abstract(参考訳): ニューラルフィールドに基づく3d表現は最近、slamシステムを含む多くの領域で採用されている。
現在のニューラルSLAMやオンラインマッピングシステムは、単純なキャプチャの存在によって印象的な結果をもたらすが、単一のニューラルネットワークモデルのみを使用するため、世界中心のマップ表現に依存している。
このような世界中心の表現を定義するには、境界や初期カメラポーズといったシーンに関する正確で静的な事前情報が必要である。
しかし、リアルタイムおよびオンザフライのシーンキャプチャアプリケーションでは、動的に変化し、実行時の観察に基づいて重要な更新を受けるため、この事前知識を固定あるいは静的と仮定することはできない。
特に大規模マッピングの文脈では、重要なカメラポーズドリフトは避けられず、ループクロージャによる補正が必要となる。
この制限を克服するために,ランタイム観測に基づいて動的にニューラルネットワークを構築するビュー中心マッピング手法NEWTONを提案する。
先行研究とは対照的に,選択したキーフレームの局所座標系において,シーンを複数のニューラルネットワークで表現することにより,ループクロージャとシーン境界更新を用いてカメラのポーズ更新を可能にする。
実験結果は,既存の世界中心のニューラルネットワークを用いたスラムシステム,特にカメラのポーズ更新を受ける大規模シーンにおいて優れた性能を示す。
関連論文リスト
- DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Learning Robust Multi-Scale Representation for Neural Radiance Fields
from Unposed Images [65.41966114373373]
コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。
提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
論文 参考訳(メタデータ) (2023-11-08T08:18:23Z) - FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses
via Pixel-Aligned Scene Flow [26.528667940013598]
ポーズ画像からの3次元ニューラルネットワークの再構成は、自己教師付き表現学習の有望な方法として現れている。
これらの3Dシーンの学習者が大規模ビデオデータに展開するのを防ぐ重要な課題は、構造から移動までの正確なカメラポーズに依存することである。
本稿では,オンラインと1つのフォワードパスでカメラポーズと3Dニューラルシーン表現を共同で再構築する手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T20:58:46Z) - Inverting the Imaging Process by Learning an Implicit Camera Model [73.81635386829846]
本稿では,ディープニューラルネットワークとしてのカメラの物理画像処理を表現した,新しい暗黙カメラモデルを提案する。
本稿では,この暗黙カメラモデルが2つの逆撮像タスクに与える影響を実演する。
論文 参考訳(メタデータ) (2023-04-25T11:55:03Z) - Nerfels: Renderable Neural Codes for Improved Camera Pose Estimation [21.111919718001907]
提案する3次元シーン表現Nerfelsは局所的に密度が高いが,世界規模では疎い。
我々は、レンダリング可能なコードでシーンに依存しないローカルな3Dパッチを表現するために、機能駆動のアプローチを採用する。
我々のモデルは、既存の最先端の手作り・学習型特徴推定装置に組み込むことができ、広いカメラベースラインシナリオでScanNetを評価する際に、性能が向上する。
論文 参考訳(メタデータ) (2022-06-04T06:29:46Z) - NeuralBlox: Real-Time Neural Representation Fusion for Robust Volumetric
Mapping [29.3378360000956]
本稿では,ニューラル暗黙表現の最近の進歩を活かした新しい3次元マッピング手法を提案する。
ニューラルな暗黙表現をインクリメンタルに構築し、更新するための融合戦略とトレーニングパイプラインを提案する。
インクリメンタルに構築された占有マップは,CPU上でもリアルタイムに取得可能であることを示す。
論文 参考訳(メタデータ) (2021-10-18T15:45:05Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳(メタデータ) (2020-11-27T19:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。