論文の概要: Few-shot Keypoint Detection with Uncertainty Learning for Unseen Species
- arxiv url: http://arxiv.org/abs/2112.06183v1
- Date: Sun, 12 Dec 2021 08:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-14 17:08:46.585330
- Title: Few-shot Keypoint Detection with Uncertainty Learning for Unseen Species
- Title（参考訳）: 未知種に対する不確実性学習による少数キーポイント検出
- Authors: Changsheng Lu, Piotr Koniusz
- Abstract要約: 本稿では,様々な種類のキーポイントを検出可能な汎用Few-shot Keypoint Detection (FSKD) パイプラインを提案する。
FSKDは主および補助的キーポイント表現学習、類似性学習、キーポイントローカライゼーションを含む。
FSKDが未確認種に対する新規キーポイント検出および(ii)FGVRおよび(iii)Semantic Alignment(SA)下流タスクに対する有効性を示した。
- 参考スコア（独自算出の注目度）: 28.307200505494126
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Current non-rigid object keypoint detectors perform well on a chosen kind of
species and body parts, and require a large amount of labelled keypoints for
training. Moreover, their heatmaps, tailored to specific body parts, cannot
recognize novel keypoints (keypoints not labelled for training) on unseen
species. We raise an interesting yet challenging question: how to detect both
base (annotated for training) and novel keypoints for unseen species given a
few annotated samples? Thus, we propose a versatile Few-shot Keypoint Detection
(FSKD) pipeline, which can detect a varying number of keypoints of different
kinds. Our FSKD provides the uncertainty estimation of predicted keypoints.
Specifically, FSKD involves main and auxiliary keypoint representation
learning, similarity learning, and keypoint localization with uncertainty
modeling to tackle the localization noise. Moreover, we model the uncertainty
across groups of keypoints by multivariate Gaussian distribution to exploit
implicit correlations between neighboring keypoints. We show the effectiveness
of our FSKD on (i) novel keypoint detection for unseen species, and (ii)
few-shot Fine-Grained Visual Recognition (FGVR) and (iii) Semantic Alignment
(SA) downstream tasks. For FGVR, detected keypoints improve the classification
accuracy. For SA, we showcase a novel thin-plate-spline warping that uses
estimated keypoint uncertainty under imperfect keypoint corespondences.
- Abstract（参考訳）: 現在の非剛体物体のキーポイント検出器は、選択された種や身体の部位でよく機能し、訓練には大量のラベル付きキーポイントを必要とする。
さらに、特定の身体部位に合わせて調整された熱マップは、未知の種に関する新しいキーポイント(トレーニングのためにラベル付けされていないキーポイント)を認識できない。
トレーニング用に注釈付けされた)ベースと、いくつかの注釈付きサンプルを与えられた未確認種のキーポイントの両方をどうやって検出すればよいのか?
そこで本研究では,様々な種類のキーポイントを検出可能な汎用Few-shot Keypoint Detection (FSKD) パイプラインを提案する。
我々のFSKDは予測キーポイントの不確かさを推定する。
具体的には、FSKDは主および補助的キーポイント表現学習、類似性学習、および局所化雑音に対処するための不確実性モデリングを伴うキーポイントローカライゼーションを含む。
さらに,多変量ガウス分布による鍵点群間の不確かさをモデル化し,隣接鍵点間の暗黙的相関を活用した。
FSKDの有効性を示す。
(i)未発見種の新規キーポイント検出、及び
(ii)微小粒度視覚認識(fgvr)及び
(iii)セマンティックアライメント(sa)ダウンストリームタスク。
FGVRの場合、検出されたキーポイントは分類精度を向上させる。
SAの場合、不完全なキーポイント対応の下で推定されたキーポイントの不確実性を利用する新しい薄板・スプラインワープを示す。
関連論文リスト
- GMM-IKRS: Gaussian Mixture Models for Interpretable Keypoint Refinement and Scoring [9.322937309882022]
キーポイントには、品質に応じてスコアをランク付けできるスコアが付属する。
学習されたキーポイントは手作りのものよりも優れた特性を示すことが多いが、それらのスコアは容易に解釈できない。
本稿では,どの手法でも抽出したキーポイントを解釈可能なスコアで特徴付けることができるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-30T09:39:59Z) - Keypoint Promptable Re-Identification [76.31113049256375]
Occluded Person Re-Identification (ReID) は、その外見に基づいて隠蔽された個人をマッチングするメトリクス学習タスクである。
本稿では、入力バウンディングボックスを意味キーポイントの集合で明示的に補完する新しいReID問題の定式化であるKeypoint Promptable ReID(KPR)を紹介する。
我々は4つの人気のあるReIDベンチマークのためのカスタムキーポイントラベルをリリースした。人物検索の実験だけでなく、ポーズトラッキングの実験も、我々の手法が従来の最先端手法を体系的に超越していることを示す。
論文 参考訳（メタデータ） (2024-07-25T15:20:58Z) - Meta-Point Learning and Refining for Category-Agnostic Pose Estimation [46.98479393474727]
Category-Agnostic pose Estimation (CAPE) は、キーポイントを付加したいくつかのサポートイメージが与えられた場合、任意のクラスのキーポイントを予測することを目的としている。
このような潜在的なキーポイント(メタポイント)に基づくCAPEのための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-20T14:54:33Z) - Open-Vocabulary Animal Keypoint Detection with Semantic-feature Matching [74.75284453828017]
Open-Vocabulary Keypoint Detection (OVKD)タスクは、任意の種類のキーポイントを特定するためにテキストプロンプトを使用するように設計されている。
セマンティック・フェールマッチング(KDSM)を用いた開語彙キーポイント検出(Open-Vocabulary Keypoint Detection)という新しいフレームワークを開発した。
このフレームワークは視覚と言語モデルを組み合わせて、言語機能とローカルキーポイント視覚機能との相互作用を作成する。
論文 参考訳（メタデータ） (2023-10-08T07:42:41Z) - DeDoDe: Detect, Don't Describe -- Describe, Don't Detect for Local
Feature Matching [14.837075102089]
キーポイント検出は3次元再構成において重要なステップであり、シーンの各ビューで最大K点のセットを検出する。
従来の学習に基づく手法は、通常、キーポイントを持つ記述子を学習し、キーポイント検出を隣り合う隣人の二項分類タスクとして扱う。
本研究は, キーポイントを3次元整合性から直接学習し, この目的を達成するための半教師付き2視点検出目標を導出する。
その結果,複数の幾何ベンチマークにおいて,DeDoDeという手法が大幅に向上していることが判明した。
論文 参考訳（メタデータ） (2023-08-16T16:37:02Z) - SC3K: Self-supervised and Coherent 3D Keypoints Estimation from Rotated,
Noisy, and Decimated Point Cloud Data [17.471342278936365]
そこで本研究では,任意のオブジェクトカテゴリからキーポイントを推定する手法を提案する。
我々は,キーポイント推定のための自己指導型トレーニング戦略を提案することで,これらのデシダータを実現する。
提案手法によって推定されるキーポイントと最先端の教師なしアプローチのキーポイントを比較した。
論文 参考訳（メタデータ） (2023-08-10T08:10:01Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳（メタデータ） (2023-07-04T02:50:44Z) - Shi-NeSS: Detecting Good and Stable Keypoints with a Neural Stability
Score [73.91231776658375]
我々は、Shi検出器によって提供される原則および局所化キーポイントの上に構築し、ニューラルネットワークによって回帰されたキーポイント安定性スコアを用いて、それらの選択を行う。
We evaluate Shi-NeSS on HPatches, ScanNet, MegaDepth and IMC-PT。
論文 参考訳（メタデータ） (2023-07-03T14:50:14Z) - Rethinking Keypoint Representations: Modeling Keypoints and Poses as
Objects for Multi-Person Human Pose Estimation [79.78017059539526]
本研究では,個々のキーポイントと空間的関連キーポイント(ポーズ)の集合を,密集した単一ステージアンカーベース検出フレームワーク内のオブジェクトとしてモデル化する,新しいヒートマップフリーなキーポイント推定手法を提案する。
実験では, KAPAOは従来手法よりもはるかに高速かつ高精度であり, 熱マップ後処理に悩まされていた。
我々の大規模モデルであるKAPAO-Lは、テスト時間拡張なしでMicrosoft COCO Keypoints検証セット上で70.6のAPを達成する。
論文 参考訳（メタデータ） (2021-11-16T15:36:44Z) - Keypoint Autoencoders: Learning Interest Points of Semantics [4.551313396927381]
キーポイント検出のための教師なし学習手法であるキーポイントオートエンコーダを提案する。
キーポイントから元のポイントクラウドへの再構成を強制することで、疎いセマンティックキーポイントの選択を奨励する。
選択したキーポイントの特異性を示すために、スパースキーポイントで形状を分類する下流タスクを行う。
論文 参考訳（メタデータ） (2020-08-11T03:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。