論文の概要: End2End Multi-View Feature Matching with Differentiable Pose Optimization

• arxiv url: http://arxiv.org/abs/2205.01694v3
• Date: Mon, 11 Sep 2023 10:06:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 23:30:20.414785
• Title: End2End Multi-View Feature Matching with Differentiable Pose Optimization
• Title（参考訳）: 可変ポーズ最適化を用いたEnd2Endマルチビュー特徴マッチング
• Authors: Barbara Roessle and Matthias Nie{\ss}ner
• Abstract要約: 本稿では,信頼度とともに画像の対応性を予測するグラフアテンションネットワークを提案する。 結果の一致は、微分可能なポーズ推定における重み付き制約として機能する。 複数のフレームにまたがってグラフを分散することで、複数のビューからの情報を統合して、マッチを一度に予測します。
• 参考スコア（独自算出の注目度）: 2.311583680973075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Erroneous feature matches have severe impact on subsequent camera pose estimation and often require additional, time-costly measures, like RANSAC, for outlier rejection. Our method tackles this challenge by addressing feature matching and pose optimization jointly. To this end, we propose a graph attention network to predict image correspondences along with confidence weights. The resulting matches serve as weighted constraints in a differentiable pose estimation. Training feature matching with gradients from pose optimization naturally learns to down-weight outliers and boosts pose estimation on image pairs compared to SuperGlue by 6.7% on ScanNet. At the same time, it reduces the pose estimation time by over 50% and renders RANSAC iterations unnecessary. Moreover, we integrate information from multiple views by spanning the graph across multiple frames to predict the matches all at once. Multi-view matching combined with end-to-end training improves the pose estimation metrics on Matterport3D by 18.5% compared to SuperGlue.
• Abstract（参考訳）: 不正な特徴一致はその後のカメラのポーズ推定に深刻な影響を与え、しばしば不利な拒絶のためにRANSACのような追加の時間的な措置を必要とする。 提案手法は特徴マッチングとポーズ最適化を併用することでこの問題に対処する。 そこで本稿では,画像対応度と信頼度を予測するグラフアテンションネットワークを提案する。 結果の一致は、微分可能なポーズ推定における重み付き制約として機能する。 ScanNetのSuperGlueの6.7%に比べて、ポーズ最適化の勾配にマッチしたトレーニング機能は、自然にダウンウェイトなアウトレイラを学び、イメージペアのポーズ推定を向上する。 同時に、ポーズ推定時間を50%以上削減し、RANSACイテレーションを不要にする。 さらに、複数のフレームにまたがるグラフにまたがって複数のビューからの情報を統合し、一致を同時に予測する。 マルチビューマッチングとエンドツーエンドトレーニングを組み合わせることで、SuperGlueと比較してMatterport3Dのポーズ推定指標が18.5%向上する。

関連論文リスト

• One Diffusion to Generate Them All [54.82732533013014]
  OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。 テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。 OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-11-25T12:11:05Z)
• PRISM: PRogressive dependency maxImization for Scale-invariant image Matching [4.9521269535586185]
  スケール不変画像マッチング(PRISM)のためのPRogressive dependency maximizationを提案する。 提案手法は,各種評価ベンチマークや下流タスクの精度向上により,より優れたマッチング性能と一般化能力を確認した。
  論文  参考訳（メタデータ） (2024-08-07T07:35:17Z)
• DVMNet: Computing Relative Pose for Unseen Objects Beyond Hypotheses [59.51874686414509]
  現在のアプローチは、多数の離散的なポーズ仮説を持つ連続的なポーズ表現を近似している。 本稿では,DVMNet(Deep Voxel Matching Network)を提案する。 提案手法は,最先端の手法に比べて計算コストの低い新しいオブジェクトに対して,より正確なポーズ推定を行う。
  論文  参考訳（メタデータ） (2024-03-20T15:41:32Z)
• PRAGO: Differentiable Multi-View Pose Optimization From Objectness Detections [19.211193336526346]
  画像の集合からカメラのポーズを微分可能な推定を行うために,Pose-refined Rotation Averaging Graph Optimization (PRAGO)法を提案する。 本手法は, 回転ポーズを再構成し, 絶対ポーズを, 幾何的タスク列の最適化の恩恵を受けながら, 微分可能な方法で再構成する。 その結果,PRAGOは7シーンから抽出した未分化のシーンにおいて,類似の翻訳推定を行いながら,相対的に21%の回転率向上を実現できることがわかった。
  論文  参考訳（メタデータ） (2024-03-13T14:42:55Z)
• AffineGlue: Joint Matching and Robust Estimation [74.04609046690913]
  AffineGlue, 連立2視点特徴マッチングとロバストな推定法を提案する。 AffineGlueは、最小限のモデルを推定するために、1対多の対応から潜在的なマッチを選択する。 ガイドマッチングはモデルと一致した一致を見つけるために使用され、1対1の一致の曖昧さに悩まされる。
  論文  参考訳（メタデータ） (2023-07-28T08:05:36Z)
• IMP: Iterative Matching and Pose Estimation with Adaptive Pooling [34.36397639248686]
  我々はEIMPと呼ばれるテキストbfefficient IMPを提案し、潜在的に一致しないキーポイントを動的に破棄する。 YFCC100m、Scannet、Aachen Day-Nightのデータセットに対する実験により、提案手法は精度と効率の点で従来の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-04-28T13:25:50Z)
• PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
  本稿では,PoseMatcherを提案する。 3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。 PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
  論文  参考訳（メタデータ） (2023-04-03T21:14:59Z)
• Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking [98.91894395941766]
  ポーズ検出とは無関係なポーズダイナミクスを学習する新しいオンライン手法を提案する。 具体的には、空間的・時間的情報と視覚的情報の両方を明示的に考慮したグラフニューラルネットワーク(GNN)を通して、このダイナミクスの予測を導出する。 PoseTrack 2017とPoseTrack 2018データセットの実験では、提案手法が人間のポーズ推定とトラッキングタスクの両方において、技術の現状よりも優れた結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T16:36:50Z)
• Self-supervised Keypoint Correspondences for Multi-Person Pose Estimation and Tracking in Videos [32.43899916477434]
  本稿では,映像中の人物を関連付けるために,キーポイント対応に依存するアプローチを提案する。 ビデオデータ上でキーポイント対応を推定するためにネットワークをトレーニングする代わりに、人間のポーズ推定のために大規模な画像データセットでトレーニングする。 提案手法は,PosTrack$2017およびPoseTrack$2018のデータセット上で,複数フレームのポーズ推定と複数人物のポーズ追跡の最先端結果を実現する。
  論文  参考訳（メタデータ） (2020-04-27T09:02:24Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。