論文の概要: GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring
- arxiv url: http://arxiv.org/abs/2408.17149v1
- Date: Fri, 30 Aug 2024 09:39:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 15:48:34.361561
- Title: GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring
- Title(参考訳): GMM-IKRS:解釈可能なキーポイントリファインメントとスコーディングのためのガウス混合モデル
- Authors: Emanuele Santellani, Martin Zach, Christian Sormann, Mattia Rossi, Andreas Kuhn, Friedrich Fraundorfer,
- Abstract要約: キーポイントには、品質に応じてスコアをランク付けできるスコアが付属する。
学習されたキーポイントは手作りのものよりも優れた特性を示すことが多いが、それらのスコアは容易に解釈できない。
本稿では,どの手法でも抽出したキーポイントを解釈可能なスコアで特徴付けることができるフレームワークを提案する。
- 参考スコア(独自算出の注目度): 9.322937309882022
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The extraction of keypoints in images is at the basis of many computer vision applications, from localization to 3D reconstruction. Keypoints come with a score permitting to rank them according to their quality. While learned keypoints often exhibit better properties than handcrafted ones, their scores are not easily interpretable, making it virtually impossible to compare the quality of individual keypoints across methods. We propose a framework that can refine, and at the same time characterize with an interpretable score, the keypoints extracted by any method. Our approach leverages a modified robust Gaussian Mixture Model fit designed to both reject non-robust keypoints and refine the remaining ones. Our score comprises two components: one relates to the probability of extracting the same keypoint in an image captured from another viewpoint, the other relates to the localization accuracy of the keypoint. These two interpretable components permit a comparison of individual keypoints extracted across different methods. Through extensive experiments we demonstrate that, when applied to popular keypoint detectors, our framework consistently improves the repeatability of keypoints as well as their performance in homography and two/multiple-view pose recovery tasks.
- Abstract(参考訳): 画像中のキーポイントの抽出は、ローカライゼーションから3D再構成に至るまで、多くのコンピュータビジョンアプリケーションに基づいている。
キーポイントには、品質に応じてスコアをランク付けできるスコアが付属する。
学習されたキーポイントは手作りのものよりも優れた特性を示すことが多いが、それらのスコアは容易に解釈できないため、メソッド間で個々のキーポイントの品質を比較することは事実上不可能である。
本稿では,どの手法でも抽出したキーポイントを解釈可能なスコアで特徴付けることができるフレームワークを提案する。
提案手法では,非ロバストなキーポイントを拒否し,残りのキーポイントを改良するために,ロバストなガウス混合モデルを改良した。
我々のスコアは2つの要素から構成されている: 1つは別の視点から捉えた画像において同じキーポイントを抽出する確率、もう1つはキーポイントの局所化精度に関する。
これら2つの解釈可能なコンポーネントは、異なる方法で抽出された個々のキーポイントの比較を可能にする。
広範にわたる実験により、一般的なキーポイント検出器に適用すると、我々のフレームワークは、キーポイントの繰り返し可能性と、ホモグラフィーにおけるそれらの性能、および2/複数ビューのポーズ回復タスクを一貫して改善することを示した。
関連論文リスト
- Exploring Key Point Analysis with Pairwise Generation and Graph Partitioning [61.73411954056032]
キーポイント分析(KPA)は、議論採掘の分野において重要な未解決問題であり続けている。
ペア生成とグラフ分割を併用したKPAの新しい手法を提案する。
論文 参考訳(メタデータ) (2024-04-17T13:44:29Z) - Visibility-Aware Keypoint Localization for 6DoF Object Pose Estimation [56.07676459156789]
2次元画像における3Dキーポイントの局所化は、6DoFオブジェクトのポーズ推定のための3D-2D対応を確立する効果的な方法である。
本稿では、重要なキーポイントを可視性の観点からローカライズすることでこの問題に対処する。
我々は、可視性を考慮した重要度と最先端のポーズ推定アルゴリズムを統合することにより、VAPO(Visibility-Aware POse estimator)を構築する。
論文 参考訳(メタデータ) (2024-03-21T16:59:45Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳(メタデータ) (2023-07-04T02:50:44Z) - Hybrid model for Single-Stage Multi-Person Pose Estimation [3.592448408054345]
そこで本研究では,HybridPoseという,単段階多人数ポーズ推定のためのハイブリッドモデルを提案する。
密に配置されたキーポイントを検出するだけでなく、画像内の存在しないキーポイントをフィルタリングすることもできる。
論文 参考訳(メタデータ) (2023-05-02T02:55:29Z) - Self-Supervised Equivariant Learning for Oriented Keypoint Detection [35.94215211409985]
我々は、回転同変CNNを用いた自己教師付き学習フレームワークを導入し、ロバスト指向キーポイントの検出を学習する。
ヒストグラムに基づく配向マップのトレーニングのために,合成変換により生成した画像対による高密度配向損失を提案する。
提案手法は,画像マッチングベンチマークとカメラポーズ推定ベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2022-04-19T02:26:07Z) - Recognition of Freely Selected Keypoints on Human Limbs [18.176606453818557]
我々はVision Transformerアーキテクチャを用いて、モデルの能力を拡張し、人の手足の任意のキーポイントを検出する。
提案手法は固定キーポイント上のTokenPoseと類似し,手足上の任意のキーポイントを検出することができる。
論文 参考訳(メタデータ) (2022-04-13T11:58:28Z) - Accurate Grid Keypoint Learning for Efficient Video Prediction [87.71109421608232]
キーポイントベースのビデオ予測手法は、トレーニングやデプロイメントにおいて、かなりの計算資源を消費することができる。
本稿では,長期的効率的な映像予測のための頑健で説明可能な中間キーポイント表現を目的とした,新しいグリッドキーポイント学習フレームワークを設計する。
提案手法は,計算資源の98%以上を節約しつつ,最先端のビデオ予測手法よりも優れていた。
論文 参考訳(メタデータ) (2021-07-28T05:04:30Z) - Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。
我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。
提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-04-06T05:54:46Z) - UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
UKPGANは一般的な3Dキーポイント検出器である。
私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。
我々のモデルは、剛性と非剛性変換の両方の下で安定である。
論文 参考訳(メタデータ) (2020-11-24T09:08:21Z) - Keypoint Autoencoders: Learning Interest Points of Semantics [4.551313396927381]
キーポイント検出のための教師なし学習手法であるキーポイントオートエンコーダを提案する。
キーポイントから元のポイントクラウドへの再構成を強制することで、疎いセマンティックキーポイントの選択を奨励する。
選択したキーポイントの特異性を示すために、スパースキーポイントで形状を分類する下流タスクを行う。
論文 参考訳(メタデータ) (2020-08-11T03:43:18Z) - Bottom-Up Human Pose Estimation by Ranking Heatmap-Guided Adaptive
Keypoint Estimates [76.51095823248104]
キーポイント検出とグループ化(キーポイント回帰)性能を改善するために,これまでにほとんど,あるいはまったく研究されていないいくつかのスキームを提案する。
まず,画素単位のキーポイントレグレッションに対して,キーポイントのリグレッションを改善するために分離する代わりに,キーポイントのヒートマップを利用する。
第2に、スケールと向きの分散を扱うための適応表現を学習するために、画素単位の空間変換器ネットワークを採用する。
第3に,真のポーズとなる確率の高い推定ポーズを促進するために,結合形状と熱値評価手法を提案する。
論文 参考訳(メタデータ) (2020-06-28T01:14:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。