論文の概要: Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition

• arxiv url: http://arxiv.org/abs/2302.02327v1
• Date: Sun, 5 Feb 2023 07:43:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 18:53:58.152343
• Title: Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition
• Title（参考訳）: 半教師付きスケルトンに基づく行動認識のためのピラミッド自己付着重合学習
• Authors: Binqian Xu, Xiangbo Shu
• Abstract要約: 本研究では,PSP学習と呼ばれる新しいピラミッド型自己意識型重合学習フレームワークを提案し,身体レベル,部分レベル,共同レベルの行動表現を共同学習する。 具体的には、ボディレベルの注意マップ、部分レベルの注意マップ、および関節レベルの注意マップを計算するための新しいピラミッド重合注意(PPA)機構を設計する。 我々は、体/部分/関節レベル間の類似度を共同測定するために、体レベルコントラスト損失、部分レベルコントラスト損失、関節レベルコントラスト損失を含む新しいCCL(Coarse-to-fine Contrastive Loss)を提案する。
• 参考スコア（独自算出の注目度）: 12.601122522537459
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most semi-supervised skeleton-based action recognition approaches aim to learn the skeleton action representations only at the joint level, but neglect the crucial motion characteristics at the coarser-grained body (e.g., limb, trunk) level that provide rich additional semantic information, though the number of labeled data is limited. In this work, we propose a novel Pyramid Self-attention Polymerization Learning (dubbed as PSP Learning) framework to jointly learn body-level, part-level, and joint-level action representations of joint and motion data containing abundant and complementary semantic information via contrastive learning covering coarse-to-fine granularity. Specifically, to complement semantic information from coarse to fine granularity in skeleton actions, we design a new Pyramid Polymerizing Attention (PPA) mechanism that firstly calculates the body-level attention map, part-level attention map, and joint-level attention map, as well as polymerizes these attention maps in a level-by-level way (i.e., from body level to part level, and further to joint level). Moreover, we present a new Coarse-to-fine Contrastive Loss (CCL) including body-level contrast loss, part-level contrast loss, and joint-level contrast loss to jointly measure the similarity between the body/part/joint-level contrasting features of joint and motion data. Finally, extensive experiments are conducted on the NTU RGB+D and North-Western UCLA datasets to demonstrate the competitive performance of the proposed PSP Learning in the semi-supervised skeleton-based action recognition task. The source codes of PSP Learning are publicly available at https://github.com/1xbq1/PSP-Learning.
• Abstract（参考訳）: ほとんどの半教師付きスケルトンに基づく行動認識アプローチは、関節レベルでのみスケルトン行動表現を学習することを目的としているが、ラベル付きデータの数が限られているにもかかわらず、より粗い体(脚、幹など)レベルでの重要な運動特性を無視する。 本研究では,粗粒度を包含するコントラスト学習を通じて,豊富かつ相補的な意味情報を含む関節および動作データの身体レベル,部分レベルおよび関節レベルの動作表現を共同学習する,新たなピラミッド型自己定着重合学習(psp学習)フレームワークを提案する。 具体的には,スケルトン動作における粗粒度から細粒度までの意味情報を補完するために,まず身体レベルの注意マップ,部分レベルの注意マップ,関節レベルの注意マップを算出し,これらの注意マップをレベルバイレベル(身体レベルから部分レベル,さらに関節レベルまで)で重合する新しいピラミッド重合注意(ppa)機構を設計する。 さらに,CCL(Coarse-to-fine Contrastive Loss)を新たに導入し,身体レベルコントラストの損失,部分レベルコントラストの損失,関節レベルコントラストの損失と関節レベルコントラストの類似性を測定した。 最後に,NTU RGB+DとNorth-Western UCLAデータセットを用いて,半教師付き骨格に基づく行動認識タスクにおいて提案したPSP学習の競合性能を示す実験を行った。 PSP Learningのソースコードはhttps://github.com/1xbq1/PSP-Learningで公開されている。

関連論文リスト

• Point Cloud Understanding via Attention-Driven Contrastive Learning [64.65145700121442]
  トランスフォーマーベースのモデルは、自己認識機構を活用することにより、先進的なポイントクラウド理解を持つ。 PointACLは、これらの制限に対処するために設計された、注意駆動のコントラスト学習フレームワークである。 本手法では, 注意駆動型動的マスキング手法を用いて, モデルが非集中領域に集中するように誘導する。
  論文  参考訳（メタデータ） (2024-11-22T05:41:00Z)
• SMC-NCA: Semantic-guided Multi-level Contrast for Semi-supervised Temporal Action Segmentation [53.010417880335424]
  半教師付き時間的アクションセグメンテーション(SS-TA)は、長編ビデオにおいてフレームワイズ分類を行うことを目的としている。 近年の研究では、教師なし表現学習におけるコントラスト学習の可能性が示されている。 本稿では,SMC-NCA(Neighbourhood-Consistency-Aware Unit)を用いたセマンティック誘導型マルチレベルコントラスト方式を提案する。
  論文  参考訳（メタデータ） (2023-12-19T17:26:44Z)
• Skeleton Prototype Contrastive Learning with Multi-Level Graph Relation Modeling for Unsupervised Person Re-Identification [63.903237777588316]
  3Dスケルトンによる人物再識別(re-ID)は多くの利点を持つ重要な話題である。 既存の解は骨格構造や運動における価値ある身体-成分関係を探索することは滅多にない。 本稿では,マルチレベルグラフ関係学習を用いた汎用的教師なし型コントラスト学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:59:32Z)
• Part-aware Prototypical Graph Network for One-shot Skeleton-based Action Recognition [57.86960990337986]
  ワンショットスケルトンに基づくアクション認識は、ベースクラスから新しいクラスへの変換可能な表現を学習する上で、ユニークな課題となる。 単発骨格に基づく行動認識のためのパートアウェアなプロトタイプ表現を提案する。 本手法の有効性を2つの公開骨格に基づく行動認識データセットに示す。
  論文  参考訳（メタデータ） (2022-08-19T04:54:56Z)
• Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition [65.78703941973183]
  本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。 具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。 自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
  論文  参考訳（メタデータ） (2022-02-08T16:03:15Z)
• Skeleton-Contrastive 3D Action Representation Learning [35.06361753065124]
  本稿では,骨格に基づく行動認識に適した特徴空間の自己教師型学習を目指す。 提案手法は,PKUデータセットとNTUデータセットのスケルトンデータからの自己教師付き学習における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-08-08T14:44:59Z)
• Multi-Level Graph Encoding with Structural-Collaborative Relation Learning for Skeleton-Based Person Re-Identification [11.303008512400893]
  Skeletonベースの人物再識別(Re-ID)は、安全クリティカルなアプリケーションに優れた価値を提供する、新たなオープントピックである。 既存の方法は通常、手作りの特徴やモデル骨格のダイナミクスを体関節の軌跡から抽出する。 Re-IDの識別グラフ特徴を符号化するために,構造協調関係学習(MG-SCR)を用いたマルチレベルグラフ符号化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-06T09:09:57Z)
• JOLO-GCN: Mining Joint-Centered Light-Weight Information for Skeleton-Based Action Recognition [47.47099206295254]
  本稿では,2ストリームグラフ畳み込みネットワークにおいて,人間のポーズスケルトンと共同中心の軽量情報を活用するための新しいフレームワークを提案する。 純粋なスケルトンベースのベースラインと比較して、このハイブリッドスキームは、計算とメモリのオーバーヘッドを低く保ちながら、性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2020-11-16T08:39:22Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。