論文の概要: Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition

• arxiv url: http://arxiv.org/abs/2305.02324v1
• Date: Wed, 3 May 2023 10:31:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 18:23:07.099907
• Title: Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition
• Title（参考訳）: 自己教師付き骨格に基づく行動認識のためのクロスストリームコントラスト学習
• Authors: Ding Li and Yongqiang Tang and Zhizhong Zhang and Wensheng Zhang
• Abstract要約: 自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
• 参考スコア（独自算出の注目度）: 17.328642062093877
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised skeleton-based action recognition enjoys a rapid growth along with the development of contrastive learning. The existing methods rely on imposing invariance to augmentations of 3D skeleton within a single data stream, which merely leverages the easy positive pairs and limits the ability to explore the complicated movement patterns. In this paper, we advocate that the defect of single-stream contrast and the lack of necessary feature transformation are responsible for easy positives, and therefore propose a Cross-Stream Contrastive Learning framework for skeleton-based action Representation learning (CSCLR). Specifically, the proposed CSCLR not only utilizes intra-stream contrast pairs, but introduces inter-stream contrast pairs as hard samples to formulate a better representation learning. Besides, to further exploit the potential of positive pairs and increase the robustness of self-supervised representation learning, we propose a Positive Feature Transformation (PFT) strategy which adopts feature-level manipulation to increase the variance of positive pairs. To validate the effectiveness of our method, we conduct extensive experiments on three benchmark datasets NTU-RGB+D 60, NTU-RGB+D 120 and PKU-MMD. Experimental results show that our proposed CSCLR exceeds the state-of-the-art methods on a diverse range of evaluation protocols.
• Abstract（参考訳）: 自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 既存の手法では、単一のデータストリーム内の3Dスケルトンの拡張に不変性を課すことに依存しており、簡単な正のペアを単に利用し、複雑な動きパターンを探索する能力を制限するだけである。 本稿では,シングルストリームコントラストの欠如と,必要な特徴変換の欠如が容易な肯定性の原因であると主張し,スケルトンに基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、表現学習を改善する。 さらに、ポジティブペアの可能性をさらに活用し、自己教師付き表現学習の堅牢性を高めるために、ポジティブペアのばらつきを高めるために、特徴レベルの操作を採用するPFT(Positive Feature Transformation)戦略を提案する。 提案手法の有効性を検証するため,NTU-RGB+D 60,NTU-RGB+D 120,PKU-MMDの3つのベンチマークデータセットについて広範な実験を行った。 実験結果から,提案したCSCLRは各種評価プロトコルの最先端手法を上回ることがわかった。

関連論文リスト

• Contrastive Learning Via Equivariant Representation [19.112460889771423]
  CLeVERは,任意の複雑性の増大戦略に適合する,新しい異種コントラスト学習フレームワークである。 実験結果から,CLeVERは実用自然画像から同変情報を効果的に抽出し,組み込んだ。
  論文  参考訳（メタデータ） (2024-06-01T01:53:51Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  本研究では,試料内およびサンプル間制約によるサンプルワイドアライメント問題として定式化できる,対照的な知識蒸留手法を提案する。 本手法は, 数値を考慮し, 同一試料中のロジット差を最小化する。 CIFAR-100, ImageNet-1K, MS COCOの3つのデータセットについて総合的な実験を行った。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Cross-Model Cross-Stream Learning for Self-Supervised Human Action Recognition [19.86316311525552]
  本稿ではまず,BYOLと呼ばれる新しいコントラスト学習法を適用し,骨格データから学習する。 SkeletonBYOLにインスパイアされた本論文では,クロスモデルおよびクロスストリームフレームワークをさらに紹介する。
  論文  参考訳（メタデータ） (2023-07-15T12:37:18Z)
• Hierarchical Consistent Contrastive Learning for Skeleton-Based Action Recognition with Growing Augmentations [33.68311764817763]
  骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。 具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。 そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
  論文  参考訳（メタデータ） (2022-11-24T08:09:50Z)
• PointACL:Adversarial Contrastive Learning for Robust Point Clouds Representation under Adversarial Attack [73.3371797787823]
  逆比較学習(Adversarial contrastive learning, ACL)は、事前学習されたモデルの堅牢性を改善する効果的な方法と考えられている。 本稿では,自己指導型コントラスト学習フレームワークを逆向きに学習するために,ロバストな認識損失関数を提案する。 提案手法であるPointACLを,複数のデータセットを用いた3次元分類と3次元分割を含む下流タスクで検証する。
  論文  参考訳（メタデータ） (2022-09-14T22:58:31Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• Contrastive Learning from Extremely Augmented Skeleton Sequences for Self-supervised Action Recognition [23.27198457894644]
  自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。 まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。 第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
  論文  参考訳（メタデータ） (2021-12-07T09:38:37Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。