論文の概要: FaVoR: Features via Voxel Rendering for Camera Relocalization

• arxiv url: http://arxiv.org/abs/2409.07571v1
• Date: Wed, 11 Sep 2024 18:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 18:42:28.889076
• Title: FaVoR: Features via Voxel Rendering for Camera Relocalization
• Title（参考訳）: FaVoR:Voxel Renderingによるカメラ再ローカライゼーション機能
• Authors: Vincenzo Polizzi, Marco Cannici, Davide Scaramuzza, Jonathan Kelly,
• Abstract要約: カメラ再ローカライズ手法は、高密度画像アライメントから、クエリ画像からの直接カメラポーズ回帰まで様々である。 本稿では,世界規模で疎密だが局所的に密集した2次元特徴の3次元表現を活用する新しい手法を提案する。 一連のフレーム上でのランドマークの追跡と三角測量により、追跡中に観察された画像パッチ記述子をレンダリングするために最適化されたスパースボクセルマップを構築する。
• 参考スコア（独自算出の注目度）: 23.7893950095252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera relocalization methods range from dense image alignment to direct camera pose regression from a query image. Among these, sparse feature matching stands out as an efficient, versatile, and generally lightweight approach with numerous applications. However, feature-based methods often struggle with significant viewpoint and appearance changes, leading to matching failures and inaccurate pose estimates. To overcome this limitation, we propose a novel approach that leverages a globally sparse yet locally dense 3D representation of 2D features. By tracking and triangulating landmarks over a sequence of frames, we construct a sparse voxel map optimized to render image patch descriptors observed during tracking. Given an initial pose estimate, we first synthesize descriptors from the voxels using volumetric rendering and then perform feature matching to estimate the camera pose. This methodology enables the generation of descriptors for unseen views, enhancing robustness to view changes. We extensively evaluate our method on the 7-Scenes and Cambridge Landmarks datasets. Our results show that our method significantly outperforms existing state-of-the-art feature representation techniques in indoor environments, achieving up to a 39% improvement in median translation error. Additionally, our approach yields comparable results to other methods for outdoor scenarios while maintaining lower memory and computational costs.
• Abstract（参考訳）: カメラ再ローカライズ手法は、高密度画像アライメントから、クエリ画像からの直接カメラポーズ回帰まで様々である。 これらのうち、スパースな特徴マッチングは多くのアプリケーションで効率的で汎用的で一般的に軽量なアプローチとして際立っている。 しかし、機能ベースの手法は、しばしば重要な視点や外観の変化に苦しむため、失敗と不正確なポーズ推定に繋がる。 この制限を克服するために,グローバルに疎いが局所的に密集した2次元特徴の3次元表現を活用する新しい手法を提案する。 一連のフレーム上でのランドマークの追跡と三角測量により、追跡中に観察された画像パッチ記述子をレンダリングするために最適化されたスパースボクセルマップを構築する。 初期ポーズ推定を行うと、まずボリュームレンダリングを用いてボクセルから記述子を合成し、次に特徴マッチングを行い、カメラのポーズを推定する。 この方法論は、見えないビューのための記述子の生成を可能にし、変更を見るための堅牢性を強化します。 提案手法を7シーンとケンブリッジランドマークのデータセット上で広範囲に評価した。 その結果,本手法は室内環境における既存の特徴表現技術よりも優れており,中央値翻訳誤差が39%向上していることがわかった。 さらに,本手法は,メモリの削減と計算コストの低減を図りながら,屋外シナリオの他の手法に匹敵する結果をもたらす。

関連論文リスト

• No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
  NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。 提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。 この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-31T17:58:22Z)
• Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer [21.832249148699397]
  シーンを描写した画像からカメラパラメータを推定するタスクに対処する。 学習に基づく再ローカライズ手法であるシーン座標回帰により、未提示画像から暗黙的なニューラルシーン表現を構築することができることを示す。
  論文  参考訳（メタデータ） (2024-04-22T17:02:33Z)
• SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
  マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。 提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。 次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
  論文  参考訳（メタデータ） (2024-04-19T04:51:18Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• Multi-View Object Pose Refinement With Differentiable Renderer [22.040014384283378]
  本稿では,合成データの学習方法の改善に焦点をあてた,新しい多視点6 DoFオブジェクトポーズ改善手法を提案する。 これはDPOD検出器に基づいており、各フレーム内のモデル頂点と画像画素との間の密度の高い2D-3D対応を生成する。 合成および実データに基づいて訓練された最先端の手法と比較して優れた性能を報告した。
  論文  参考訳（メタデータ） (2022-07-06T17:02:22Z)
• ImPosIng: Implicit Pose Encoding for Efficient Camera Pose Estimation [2.6808541153140077]
  暗黙の詩。 (ImPosing)はイメージとカメラのポーズを2つの別々のニューラルネットワークで共通の潜在表現に埋め込む。 階層的な方法で潜在空間を通して候補を評価することにより、カメラの位置と向きを直接回帰するのではなく、洗練する。
  論文  参考訳（メタデータ） (2022-05-05T13:33:25Z)
• Pixel-Perfect Structure-from-Motion with Featuremetric Refinement [96.73365545609191]
  複数視点からの低レベル画像情報を直接アライメントすることで、動きからの2つの重要なステップを洗練する。 これにより、様々なキーポイント検出器のカメラポーズとシーン形状の精度が大幅に向上する。 本システムは,大規模な画像コレクションに容易にスケールできるので,クラウドソースによる大規模なローカライゼーションを実現することができる。
  論文  参考訳（メタデータ） (2021-08-18T17:58:55Z)
• Reassessing the Limitations of CNN Methods for Camera Pose Regression [27.86655424544118]
  本稿では,カメラのポーズを直接画像から復元できるモデルを提案する。 まず、レグレッションメソッドがまだ最先端にある理由を分析し、新しいアプローチでパフォーマンスギャップを埋める。
  論文  参考訳（メタデータ） (2021-08-16T17:55:26Z)
• Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
  空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。 我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。 アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
  論文  参考訳（メタデータ） (2020-04-05T12:52:29Z)
• Multi-View Optimization of Local Feature Geometry [70.18863787469805]
  本研究では,複数視点からの局所像の特徴の幾何を,未知のシーンやカメラの幾何を伴わずに精査する問題に対処する。 提案手法は,従来の特徴抽出とマッチングのパラダイムを自然に補完する。 本手法は,手作りと学習の両方の局所的特徴に対して,三角測量とカメラのローカライゼーション性能を常に向上することを示す。
  論文  参考訳（メタデータ） (2020-03-18T17:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。