論文の概要: Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based
Action Recognition
- arxiv url: http://arxiv.org/abs/2305.02324v2
- Date: Thu, 26 Oct 2023 03:38:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 02:18:45.846926
- Title: Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based
Action Recognition
- Title(参考訳): 自己教師付き骨格に基づく行動認識のためのクロスストリームコントラスト学習
- Authors: Ding Li and Yongqiang Tang and Zhizhong Zhang and Wensheng Zhang
- Abstract要約: 自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。
骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。
具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
- 参考スコア(独自算出の注目度): 22.067143671631303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised skeleton-based action recognition enjoys a rapid growth along
with the development of contrastive learning. The existing methods rely on
imposing invariance to augmentations of 3D skeleton within a single data
stream, which merely leverages the easy positive pairs and limits the ability
to explore the complicated movement patterns. In this paper, we advocate that
the defect of single-stream contrast and the lack of necessary feature
transformation are responsible for easy positives, and therefore propose a
Cross-Stream Contrastive Learning framework for skeleton-based action
Representation learning (CSCLR). Specifically, the proposed CSCLR not only
utilizes intra-stream contrast pairs, but introduces inter-stream contrast
pairs as hard samples to formulate a better representation learning. Besides,
to further exploit the potential of positive pairs and increase the robustness
of self-supervised representation learning, we propose a Positive Feature
Transformation (PFT) strategy which adopts feature-level manipulation to
increase the variance of positive pairs. To validate the effectiveness of our
method, we conduct extensive experiments on three benchmark datasets NTU-RGB+D
60, NTU-RGB+D 120 and PKU-MMD. Experimental results show that our proposed
CSCLR exceeds the state-of-the-art methods on a diverse range of evaluation
protocols.
- Abstract(参考訳): 自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。
既存の手法では、単一のデータストリーム内の3Dスケルトンの拡張に不変性を課すことに依存しており、簡単な正のペアを単に利用し、複雑な動きパターンを探索する能力を制限するだけである。
本稿では,シングルストリームコントラストの欠如と,必要な特徴変換の欠如が容易な肯定性の原因であると主張し,スケルトンに基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。
具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、表現学習を改善する。
さらに、ポジティブペアの可能性をさらに活用し、自己教師付き表現学習の堅牢性を高めるために、ポジティブペアのばらつきを高めるために、特徴レベルの操作を採用するPFT(Positive Feature Transformation)戦略を提案する。
提案手法の有効性を検証するため,NTU-RGB+D 60,NTU-RGB+D 120,PKU-MMDの3つのベンチマークデータセットについて広範な実験を行った。
実験結果から,提案したCSCLRは各種評価プロトコルの最先端手法を上回ることがわかった。
関連論文リスト
- Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Hierarchical Consistent Contrastive Learning for Skeleton-Based Action
Recognition with Growing Augmentations [33.68311764817763]
骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。
具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。
そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
論文 参考訳(メタデータ) (2022-11-24T08:09:50Z) - PointACL:Adversarial Contrastive Learning for Robust Point Clouds
Representation under Adversarial Attack [73.3371797787823]
逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。
本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。
提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
論文 参考訳(メタデータ) (2022-09-14T22:58:31Z) - R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi
Divergence [78.15455360335925]
我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。
我々の手法は R'enyi divergence の変動的下界の上に構築されている。
我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
論文 参考訳(メタデータ) (2022-08-12T13:37:05Z) - Contrastive Positive Mining for Unsupervised 3D Action Representation
Learning [13.05976813876407]
教師なしスケルトン3次元動作表現学習のためのコントラストポジティヴマイニングフレームワークを提案する。
CPMは、学習を促進するためにコンテキストキュー内の非自己陽性を特定する。
実験の結果,提案したCPMは既存の最先端の教師なし手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2022-08-06T11:11:57Z) - Contrastive Instruction-Trajectory Learning for Vision-Language
Navigation [66.16980504844233]
視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。
先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。
本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
論文 参考訳(メタデータ) (2021-12-08T06:32:52Z) - Contrastive Learning from Extremely Augmented Skeleton Sequences for
Self-supervised Action Recognition [23.27198457894644]
自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。
まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。
第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
論文 参考訳(メタデータ) (2021-12-07T09:38:37Z) - 3D Human Action Representation Learning via Cross-View Consistency
Pursuit [52.19199260960558]
教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。
CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
論文 参考訳(メタデータ) (2021-04-29T16:29:41Z) - Unleashing the Power of Contrastive Self-Supervised Visual Models via
Contrast-Regularized Fine-Tuning [94.35586521144117]
コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。
本研究では,コントラスト正規化調律(core-tuning)を提案する。
論文 参考訳(メタデータ) (2021-02-12T16:31:24Z) - Understanding and Achieving Efficient Robustness with Adversarial
Contrastive Learning [34.97017489872795]
Adversarial Supervised Contrastive Learning (ASCL)アプローチは、堅牢な精度の観点から最先端の防御を2.6%$上回る。
提案された選択戦略を持つASCLは、選択戦略なしでASCLと比較してわずか4,2.8%のプラスと6.3%のマイナスでさらに1.4%$改善を得ることができます。
論文 参考訳(メタデータ) (2021-01-25T11:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。