論文の概要: Attend to Who You Are: Supervising Self-Attention for Keypoint Detection and Instance-Aware Association

• arxiv url: http://arxiv.org/abs/2111.12892v1
• Date: Thu, 25 Nov 2021 03:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 16:51:13.115154
• Title: Attend to Who You Are: Supervising Self-Attention for Keypoint Detection and Instance-Aware Association
• Title（参考訳）: あなたが誰であるか: キーポイント検出とインスタンス認識関連のための自己注意の監督
• Authors: Sen Yang, Zhicheng Wang, Ze Chen, Yanjie Li, Shoukui Zhang, Zhibin Quan, Shu-Tao Xia, Yiping Bao, Erjin Zhou, Wankou Yang
• Abstract要約: 本稿では,Transformer を用いたキーポイント検出とインスタンス関連の解法を提案する。 本稿では,複数人物のキーポイント検出と事例関連のための自己注意の監視手法を提案する。
• 参考スコア（独自算出の注目度）: 40.78849763751773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new method to solve keypoint detection and instance association by using Transformer. For bottom-up multi-person pose estimation models, they need to detect keypoints and learn associative information between keypoints. We argue that these problems can be entirely solved by Transformer. Specifically, the self-attention in Transformer measures dependencies between any pair of locations, which can provide association information for keypoints grouping. However, the naive attention patterns are still not subjectively controlled, so there is no guarantee that the keypoints will always attend to the instances to which they belong. To address it we propose a novel approach of supervising self-attention for multi-person keypoint detection and instance association. By using instance masks to supervise self-attention to be instance-aware, we can assign the detected keypoints to their corresponding instances based on the pairwise attention scores, without using pre-defined offset vector fields or embedding like CNN-based bottom-up models. An additional benefit of our method is that the instance segmentation results of any number of people can be directly obtained from the supervised attention matrix, thereby simplifying the pixel assignment pipeline. The experiments on the COCO multi-person keypoint detection challenge and person instance segmentation task demonstrate the effectiveness and simplicity of the proposed method and show a promising way to control self-attention behavior for specific purposes.
• Abstract（参考訳）: 本稿では,Transformer を用いたキーポイント検出とインスタンス関連の解法を提案する。 ボトムアップマルチパーソンポーズ推定モデルでは、キーポイントを検出して、キーポイント間の連想情報を学ぶ必要がある。 これらの問題はトランスフォーマーによって完全に解決できると主張する。 具体的には、Transformerの自己アテンションは、任意の位置間の依存関係を測定し、キーポイントのグルーピングに関する関連情報を提供する。 しかし、ナイーブな注意パターンは依然として主観的に制御されていないため、キーポイントが属するインスタンスに常に従う保証はない。 そこで本研究では,マルチパーソンキーポイント検出とケースアソシエーションのための自己注意の監視手法を提案する。 インスタンスマスクを用いて、検出されたキーポイントを、予め定義されたオフセットベクトルフィールドやCNNベースのボトムアップモデルのように埋め込むことなく、ペアの注意スコアに基づいて、対応するインスタンスに割り当てることができる。 この手法のさらなる利点は、任意の数の人物のインスタンスセグメンテーション結果を教師付き注目行列から直接得ることができ、ピクセル割り当てパイプラインを簡素化できることである。 cocoマルチパーソンキーポイント検出課題とパーソンインスタンスセグメンテーション課題の実験により,提案手法の有効性と単純性が実証され,特定の目的のために自己着脱行動を制御する有望な方法が示された。

関連論文リスト

• Keypoint Promptable Re-Identification [76.31113049256375]
  Occluded Person Re-Identification (ReID) は、その外見に基づいて隠蔽された個人をマッチングするメトリクス学習タスクである。 本稿では、入力バウンディングボックスを意味キーポイントの集合で明示的に補完する新しいReID問題の定式化であるKeypoint Promptable ReID(KPR)を紹介する。 我々は4つの人気のあるReIDベンチマークのためのカスタムキーポイントラベルをリリースした。人物検索の実験だけでなく、ポーズトラッキングの実験も、我々の手法が従来の最先端手法を体系的に超越していることを示す。
  論文  参考訳（メタデータ） (2024-07-25T15:20:58Z)
• TUSK: Task-Agnostic Unsupervised Keypoints [21.777256048659165]
  本稿では,複数のインスタンスを扱えるタスク非依存のアンスーパービジョンキーポイント(TUSK)を学習するための新しい手法を提案する。 具体的にはセマンティクスをキーポイントにエンコードし、疎いキーポイントとその記述子からイメージを再構成するように教える。 これにより、従来の教師なしキーポイント法よりも幅広いタスクに対応できる。
  論文  参考訳（メタデータ） (2022-06-16T21:56:17Z)
• From Keypoints to Object Landmarks via Self-Training Correspondence: A novel approach to Unsupervised Landmark Discovery [37.78933209094847]
  本稿ではオブジェクトランドマーク検出器の教師なし学習のための新しいパラダイムを提案する。 我々はLS3D、BBCPose、Human3.6M、PennActionなどの難解なデータセットに対して本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-31T15:44:29Z)
• Learning to Detect Instance-level Salient Objects Using Complementary Image Labels [55.049347205603304]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2021-11-19T10:15:22Z)
• Weakly Supervised Keypoint Discovery [27.750244813890262]
  画像レベルの監視を用いた2次元画像からのキーポイント発見手法を提案する。 本手法は,弱い教師付き学習アプローチに動機付けられ,画像レベルの監視を利用して識別部品を識別する。 本手法は,限られた監督シナリオにおけるキーポイント推定タスクの最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-28T01:26:53Z)
• UKPGAN: A General Self-Supervised Keypoint Detector [43.35270822722044]
  UKPGANは一般的な3Dキーポイント検出器である。 私たちのキーポイントは、注釈付きキーポイントラベルとよく一致します。 我々のモデルは、剛性と非剛性変換の両方の下で安定である。
  論文  参考訳（メタデータ） (2020-11-24T09:08:21Z)
• Weakly-supervised Salient Instance Detection [65.0408760733005]
  本報告では,本問題に対する第1の弱教師付きアプローチを提案する。 本稿では,候補対象の特定にクラス整合性情報を活用するSaliency Detection Branch,オブジェクト境界をデライン化するためにクラス整合性情報を利用するBundary Detection Branch,サブティナイズ情報を用いたCentroid Detection Branchを提案する。
  論文  参考訳（メタデータ） (2020-09-29T09:47:23Z)
• A Self-Training Approach for Point-Supervised Object Detection and Counting in Crowds [54.73161039445703]
  本稿では,ポイントレベルのアノテーションのみを用いて訓練された典型的なオブジェクト検出を可能にする,新たな自己学習手法を提案する。 トレーニング中、利用可能なポイントアノテーションを使用して、オブジェクトの中心点の推定を監督する。 実験の結果,本手法は検出タスクとカウントタスクの両方において,最先端のポイント管理手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-07-25T02:14:42Z)
• Point-Set Anchors for Object Detection, Instance Segmentation and Pose Estimation [85.96410825961966]
  中心点から抽出された画像の特徴は、離れたキーポイントや境界ボックスの境界を予測するための限られた情報を含んでいると論じる。 推論を容易にするために,より有利な位置に配置された点集合からの回帰を行うことを提案する。 我々は、オブジェクト検出、インスタンス分割、人間のポーズ推定にPoint-Set Anchorsと呼ばれるこのフレームワークを適用した。
  論文  参考訳（メタデータ） (2020-07-06T15:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。