論文の概要: Hierarchical Consistent Contrastive Learning for Skeleton-Based Action
Recognition with Growing Augmentations
- arxiv url: http://arxiv.org/abs/2211.13466v3
- Date: Mon, 10 Jul 2023 10:48:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-13 20:05:46.547335
- Title: Hierarchical Consistent Contrastive Learning for Skeleton-Based Action
Recognition with Growing Augmentations
- Title（参考訳）: スケルトンベース行動認識のための階層的一貫性コントラスト学習
- Authors: Jiahang Zhang, Lilang Lin, Jiaying Liu
- Abstract要約: 骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。
具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。
そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
- 参考スコア（独自算出の注目度）: 33.68311764817763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has been proven beneficial for self-supervised
skeleton-based action recognition. Most contrastive learning methods utilize
carefully designed augmentations to generate different movement patterns of
skeletons for the same semantics. However, it is still a pending issue to apply
strong augmentations, which distort the images/skeletons' structures and cause
semantic loss, due to their resulting unstable training. In this paper, we
investigate the potential of adopting strong augmentations and propose a
general hierarchical consistent contrastive learning framework (HiCLR) for
skeleton-based action recognition. Specifically, we first design a gradual
growing augmentation policy to generate multiple ordered positive pairs, which
guide to achieve the consistency of the learned representation from different
views. Then, an asymmetric loss is proposed to enforce the hierarchical
consistency via a directional clustering operation in the feature space,
pulling the representations from strongly augmented views closer to those from
weakly augmented views for better generalizability. Meanwhile, we propose and
evaluate three kinds of strong augmentations for 3D skeletons to demonstrate
the effectiveness of our method. Extensive experiments show that HiCLR
outperforms the state-of-the-art methods notably on three large-scale datasets,
i.e., NTU60, NTU120, and PKUMMD.
- Abstract（参考訳）: 対比学習は自己教師付き骨格に基づく行動認識に有用であることが証明されている。
ほとんどの対照的な学習法は、同じ意味論のために異なる骨格の動きパターンを生成するために注意深く設計された拡張を用いる。
しかし、画像や骨格の構造を歪め、その不安定なトレーニングによって意味的損失を引き起こす強力な拡張を適用することは、まだ検討中の課題である。
本稿では,強増強の可能性を検証し,スケルトンベース行動認識のための階層的一貫性コントラスト学習フレームワーク(hiclr)を提案する。
具体的には,様々な視点から学習表現の一貫性を達成するための複数の順序付き正のペアを生成するために,段階的に増大する拡張ポリシーをまず設計する。
そして、特徴空間における方向クラスタリング操作を通じて階層的一貫性を強制するために、非対称な損失を提案し、より優れた一般化可能性のために、弱い拡張ビューから強い拡張ビューから表現を引き出す。
一方,本手法の有効性を示すために,三次元骨格の3種類の強増強法を提案し,評価した。
大規模な実験により、HiCLRは特に3つの大規模データセット(NTU60、NTU120、PKUMMD)で最先端の手法よりも優れていた。
関連論文リスト
- Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based
Action Recognition [22.067143671631303]
自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。
骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。
具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
論文 参考訳（メタデータ） (2023-05-03T10:31:35Z) - Understanding and Constructing Latent Modality Structures in Multi-modal
Representation Learning [53.68371566336254]
優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。
具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
論文 参考訳（メタデータ） (2023-03-10T14:38:49Z) - Contrastive Learning from Spatio-Temporal Mixed Skeleton Sequences for
Self-Supervised Skeleton-Based Action Recognition [21.546894064451898]
通常の拡張に基づくコントラストペアを直接拡張すると、性能の面ではリターンが制限されることが示される。
我々は,現在のコントラスト学習アプローチを補完する時間的スケルトン混合強化(SkeleMix)を備えたコントラスト学習フレームワークであるSkeleMixCLRを提案する。
論文 参考訳（メタデータ） (2022-07-07T03:18:09Z) - Strongly Augmented Contrastive Clustering [52.00792661612913]
強拡張コントラストクラスタリング(SACC)と呼ばれるエンドツーエンドのディープクラスタリング手法を提案する。
重みを三重に分割したバックボーンネットワークを利用して、強みの強いビューと弱みの2つのビューを組み込む。
バックボーンによって生成された表現に基づいて、弱弱視対と強弱視対を同時にインスタンスレベルのコントラスト学習に活用する。
論文 参考訳（メタデータ） (2022-06-01T10:30:59Z) - SimMC: Simple Masked Contrastive Learning of Skeleton Representations
for Unsupervised Person Re-Identification [63.903237777588316]
SimMC(Simple Masked Contrastive Learning)フレームワークを提案する。
具体的には、各骨格配列内の骨格の特徴を完全に活用するために、まずマスク付きプロトタイプコントラスト学習(MPC)方式を考案する。
そこで我々は,サブシーケンス間のシーケンス内パターンの整合性を捉えるために,マスク付きシーケンス内コントラスト学習(MIC)を提案する。
論文 参考訳（メタデータ） (2022-04-21T00:19:38Z) - Improving Contrastive Learning with Model Augmentation [123.05700988581806]
このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。
シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
論文 参考訳（メタデータ） (2022-03-25T06:12:58Z) - Contrastive Learning from Extremely Augmented Skeleton Sequences for
Self-supervised Action Recognition [23.27198457894644]
自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。
まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。
第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
論文 参考訳（メタデータ） (2021-12-07T09:38:37Z) - Contrast-reconstruction Representation Learning for Self-supervised
Skeleton-based Action Recognition [18.667198945509114]
コントラスト再構成表現学習ネットワーク(CRRL)を提案する。
姿勢と運動のダイナミクスを同時に捉え、教師なし骨格に基づく行動認識を行う。
NTU RGB+D 60, NTU RGB+D 120, CMU mocap, NW-UCLA といったいくつかのベンチマークの実験結果から、提案したCRRL法が実現可能であることが示された。
論文 参考訳（メタデータ） (2021-11-22T08:45:34Z) - A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D
Skeleton Based Person Re-Identification [65.18004601366066]
3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。
本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
論文 参考訳（メタデータ） (2020-09-05T16:06:04Z) - Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM
for Unsupervised Action Recognition [16.22360992454675]
近年では3Dスケルトンデータによる行動認識が重要視されている。
本稿では,AS-CALという対照的な行動学習パラダイムを初めて提案する。
提案手法は,従来の手作り手法を10～50%の精度で改善する。
論文 参考訳（メタデータ） (2020-08-01T06:37:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。