論文の概要: LENS: Localization enhanced by NeRF synthesis
- arxiv url: http://arxiv.org/abs/2110.06558v1
- Date: Wed, 13 Oct 2021 08:15:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-14 13:03:40.664424
- Title: LENS: Localization enhanced by NeRF synthesis
- Title(参考訳): LENS:NeRF合成による局在増強
- Authors: Arthur Moreau, Nathan Piasco, Dzmitry Tsishkou, Bogdan Stanciulescu,
Arnaud de La Fortelle
- Abstract要約: アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。
我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
- 参考スコア(独自算出の注目度): 3.4386226615580107
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Neural Radiance Fields (NeRF) have recently demonstrated photo-realistic
results for the task of novel view synthesis. In this paper, we propose to
apply novel view synthesis to the robot relocalization problem: we demonstrate
improvement of camera pose regression thanks to an additional synthetic dataset
rendered by the NeRF class of algorithm. To avoid spawning novel views in
irrelevant places we selected virtual camera locations from NeRF internal
representation of the 3D geometry of the scene. We further improved
localization accuracy of pose regressors using synthesized realistic and
geometry consistent images as data augmentation during training. At the time of
publication, our approach improved state of the art with a 60% lower error on
Cambridge Landmarks and 7-scenes datasets. Hence, the resulting accuracy
becomes comparable to structure-based methods, without any architecture
modification or domain adaptation constraints. Since our method allows almost
infinite generation of training data, we investigated limitations of camera
pose regression depending on size and distribution of data used for training on
public benchmarks. We concluded that pose regression accuracy is mostly bounded
by relatively small and biased datasets rather than capacity of the pose
regression model to solve the localization task.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は近年,新しいビュー合成の課題に対して,フォトリアリスティックな結果を示した。
本稿では,ロボット再局在問題に新しいビュー合成を適用し,NeRFクラスによる合成データセットの付加によるカメラポーズ回帰の改善を実証する。
無関係な場所での斬新なビューの発生を避けるため、シーンの3次元幾何学のNeRF内部表現から仮想カメラの位置を選択した。
さらに,訓練中のデータ増補として合成されたリアル画像と幾何画像を用いたポーズレグレッシャの位置推定精度の向上を行った。
出版時点では,cambridge landmarks と 7-scenes データセットの誤差が60%低減し,最先端技術の改善が図られた。
したがって、結果として得られる精度は、アーキテクチャの変更やドメイン適応の制約なしに、構造ベースのメソッドに匹敵する。
提案手法は,ほぼ無限のトレーニングデータを可能にするため,公開ベンチマークのトレーニングに使用されるデータのサイズや分布に応じてカメラのポーズ回帰の制限を検討した。
ポジショニングの精度は,ポジショニング課題を解決するためのポジショニング回帰モデルのキャパシティではなく,比較的小さく偏りのあるデータセットに大半は制限されていると結論づけた。
関連論文リスト
- PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - Leveraging Neural Radiance Fields for Uncertainty-Aware Visual
Localization [56.95046107046027]
我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。
レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
論文 参考訳(メタデータ) (2023-10-10T20:11:13Z) - BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance
Fields [0.0]
Inverted Neural Radiance Fields (iNeRF) アルゴリズムの改良を目標とし、画像ポーズ推定問題をNeRFに基づく反復線形最適化として定義する。
NeRFは、現実世界のシーンやオブジェクトのフォトリアリスティックな新しいビューを合成できる新しい空間表現モデルである。
論文 参考訳(メタデータ) (2023-10-05T14:27:06Z) - Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。
本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。
また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文 参考訳(メタデータ) (2023-03-17T16:10:50Z) - TexPose: Neural Texture Learning for Self-Supervised 6D Object Pose
Estimation [55.94900327396771]
合成データから6次元オブジェクトポーズ推定のためのニューラルネットワークによるテクスチャ学習を提案する。
実画像からオブジェクトの現実的なテクスチャを予測することを学ぶ。
画素完全合成データからポーズ推定を学習する。
論文 参考訳(メタデータ) (2022-12-25T13:36:32Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳(メタデータ) (2022-11-21T17:42:42Z) - Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields [36.09829614806658]
ニューラルレージアンスフィールドの局所-グローバル登録法であるL2G-NeRFを提案する。
ピクセルワイドな局所アライメントは、ディープネットワークを介して教師なしの方法で学習される。
提案手法は,高忠実度再構築と大型カメラの誤認識の解消の観点から,現在の最先端技術よりも優れる。
論文 参考訳(メタデータ) (2022-11-21T14:43:16Z) - DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
論文 参考訳(メタデータ) (2022-04-01T16:39:16Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。