論文の概要: Pixel-Perfect Structure-from-Motion with Featuremetric Refinement

• arxiv url: http://arxiv.org/abs/2108.08291v1
• Date: Wed, 18 Aug 2021 17:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-19 14:35:33.131166
• Title: Pixel-Perfect Structure-from-Motion with Featuremetric Refinement
• Title（参考訳）: 特徴量精密化による画素完全構造から運動へ
• Authors: Philipp Lindenberger, Paul-Edouard Sarlin, Viktor Larsson, Marc Pollefeys
• Abstract要約: 複数視点からの低レベル画像情報を直接アライメントすることで、動きからの2つの重要なステップを洗練する。 これにより、様々なキーポイント検出器のカメラポーズとシーン形状の精度が大幅に向上する。 本システムは,大規模な画像コレクションに容易にスケールできるので,クラウドソースによる大規模なローカライゼーションを実現することができる。
• 参考スコア（独自算出の注目度）: 96.73365545609191
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding local features that are repeatable across multiple views is a cornerstone of sparse 3D reconstruction. The classical image matching paradigm detects keypoints per-image once and for all, which can yield poorly-localized features and propagate large errors to the final geometry. In this paper, we refine two key steps of structure-from-motion by a direct alignment of low-level image information from multiple views: we first adjust the initial keypoint locations prior to any geometric estimation, and subsequently refine points and camera poses as a post-processing. This refinement is robust to large detection noise and appearance changes, as it optimizes a featuremetric error based on dense features predicted by a neural network. This significantly improves the accuracy of camera poses and scene geometry for a wide range of keypoint detectors, challenging viewing conditions, and off-the-shelf deep features. Our system easily scales to large image collections, enabling pixel-perfect crowd-sourced localization at scale. Our code is publicly available at https://github.com/cvg/pixel-perfect-sfm as an add-on to the popular SfM software COLMAP.
• Abstract（参考訳）: 複数のビューで再現可能なローカルな特徴を見つけることは、スパース3dリコンストラクションの基盤である。 古典的な画像マッチングパラダイムは、画像ごとのキーポイントを1回ずつ検出し、ローカライズされていない特徴を与え、最終的な幾何学に大きなエラーを伝達する。 本稿では,まず幾何学的推定に先立って初期キーポイントの位置を調整し,後処理としてポイントとカメラのポーズを精錬する。 この改良は、ニューラルネットワークが予測する密集した特徴に基づく特徴量誤差を最適化するため、大規模な検出ノイズや外観変化に対して堅牢である。 これにより、広い範囲のキーポイント検出器のカメラポーズとシーンジオメトリの精度が大幅に向上し、観察条件に挑戦し、市販の深い特徴も向上する。 本システムは,大規模な画像コレクションに容易にスケールできるので,クラウドソースによる大規模なローカライゼーションを実現することができる。 私たちのコードは、人気のあるSfMソフトウェアCOLMAPのアドオンとしてhttps://github.com/cvg/pixel-perfect-sfmで公開されています。

関連論文リスト

• Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer [21.832249148699397]
  シーンを描写した画像からカメラパラメータを推定するタスクに対処する。 学習に基づく再ローカライズ手法であるシーン座標回帰により、未提示画像から暗黙的なニューラルシーン表現を構築することができることを示す。
  論文  参考訳（メタデータ） (2024-04-22T17:02:33Z)
• Visual Geometry Grounded Deep Structure From Motion [20.203320509695306]
  本稿では,各コンポーネントが完全に微分可能で,エンドツーエンドでトレーニング可能な,新しいディープパイプラインVGGSfMを提案する。 まず, 深部2次元点追跡の最近の進歩をベースとして, 画素精度の高いトラックを抽出し, ペアマッチングのチェーン化の必要性を解消する。 私たちは、CO3D、IMC Phototourism、ETH3Dという3つの一般的なデータセットで最先端のパフォーマンスを達成しました。
  論文  参考訳（メタデータ） (2023-12-07T18:59:52Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
  カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。 我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。 我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-04-21T03:42:31Z)
• Soft Expectation and Deep Maximization for Image Feature Detection [68.8204255655161]
  質問をひっくり返し、まず繰り返し可能な3Dポイントを探し、次に検出器を訓練して画像空間にローカライズする、反復的半教師付き学習プロセスSEDMを提案する。 以上の結果から,sdmを用いてトレーニングした新しいモデルでは,シーン内の下位3dポイントのローカライズが容易になった。
  論文  参考訳（メタデータ） (2021-04-21T00:35:32Z)
• Back to the Feature: Learning Robust Camera Localization from Pixels to Pose [114.89389528198738]
  画像と3Dモデルから正確な6-DoFのポーズを推定するシーンに依存しないニューラルネットワークPixLocを導入する。 このシステムは、粗いポーズ前の大きな環境でもローカライズできるが、スパース特徴マッチングの精度も向上する。
  論文  参考訳（メタデータ） (2021-03-16T17:40:12Z)
• Multi-View Optimization of Local Feature Geometry [70.18863787469805]
  本研究では,複数視点からの局所像の特徴の幾何を,未知のシーンやカメラの幾何を伴わずに精査する問題に対処する。 提案手法は,従来の特徴抽出とマッチングのパラダイムを自然に補完する。 本手法は,手作りと学習の両方の局所的特徴に対して,三角測量とカメラのローカライゼーション性能を常に向上することを示す。
  論文  参考訳（メタデータ） (2020-03-18T17:22:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。