論文の概要: Contrastive Learning from Extremely Augmented Skeleton Sequences for
Self-supervised Action Recognition
- arxiv url: http://arxiv.org/abs/2112.03590v1
- Date: Tue, 7 Dec 2021 09:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 14:47:00.306152
- Title: Contrastive Learning from Extremely Augmented Skeleton Sequences for
Self-supervised Action Recognition
- Title（参考訳）: 自己教師付き行動認識のための超拡張骨格配列からのコントラスト学習
- Authors: Tianyu Guo, Hong Liu, Zhan Chen, Mengyuan Liu, Tao Wang, Runwei Ding
- Abstract要約: 自己教師型行動表現(AimCLR)のためのアウンダント情報マイニングを利用したコントラスト学習フレームワークを提案する。
まず,エネルギベースアテンション誘導落下モジュール(EADM)を極端に拡張し,多様な正の試料を得る。
第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブなサンプルをさらに拡大するために提案されている。
- 参考スコア（独自算出の注目度）: 23.27198457894644
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, self-supervised representation learning for skeleton-based
action recognition has been developed with the advance of contrastive learning
methods. The existing contrastive learning methods use normal augmentations to
construct similar positive samples, which limits the ability to explore novel
movement patterns. In this paper, to make better use of the movement patterns
introduced by extreme augmentations, a Contrastive Learning framework utilizing
Abundant Information Mining for self-supervised action Representation (AimCLR)
is proposed. First, the extreme augmentations and the Energy-based
Attention-guided Drop Module (EADM) are proposed to obtain diverse positive
samples, which bring novel movement patterns to improve the universality of the
learned representations. Second, since directly using extreme augmentations may
not be able to boost the performance due to the drastic changes in original
identity, the Dual Distributional Divergence Minimization Loss (D$^3$M Loss) is
proposed to minimize the distribution divergence in a more gentle way. Third,
the Nearest Neighbors Mining (NNM) is proposed to further expand positive
samples to make the abundant information mining process more reasonable.
Exhaustive experiments on NTU RGB+D 60, PKU-MMD, NTU RGB+D 120 datasets have
verified that our AimCLR can significantly perform favorably against
state-of-the-art methods under a variety of evaluation protocols with observed
higher quality action representations. Our code is available at
https://github.com/Levigty/AimCLR.
- Abstract（参考訳）: 近年, 骨格に基づく行動認識のための自己指導型表現学習が, コントラスト学習法の進歩とともに開発されている。
既存のコントラスト学習手法では、通常の拡張を用いて同様の正のサンプルを構築し、新しい動きパターンを探索する能力を制限する。
本稿では,過激な拡張によってもたらされる動きパターンをよりよく活用するために,自己教師型行動表現(AimCLR)にアウンダント情報マイニングを活用するコントラスト学習フレームワークを提案する。
まず,Energy-based Attention-Guided Drop Module (EADM) を用いて,学習表現の普遍性向上に新たな動きパターンをもたらす多彩な正のサンプルを求める。
第二に, 極端に拡張することにより, オリジナルアイデンティティの劇的な変化による性能向上が図れるため, より穏やかな分散発散を最小化するために, 二重分布発散最小化損失 (d$^3$m 損失) が提案されている。
第三に、近隣鉱業(NNM)は、豊富な情報マイニングプロセスをより合理的なものにするため、ポジティブサンプルをさらに拡大するために提案されている。
NTU RGB+D 60, PKU-MMD, NTU RGB+D 120 データセットの探索実験により, AimCLR は高画質な動作表現を観測した様々な評価プロトコルの下で, 最先端の手法に対して有意に良好に動作できることが確認された。
私たちのコードはhttps://github.com/Levigty/AimCLRで利用可能です。
関連論文リスト
- An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。
従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。
強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-06-02T06:53:01Z) - Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。
AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。
AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
論文 参考訳（メタデータ） (2024-03-12T11:48:49Z) - Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based
Action Recognition [22.067143671631303]
自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。
骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。
具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
論文 参考訳（メタデータ） (2023-05-03T10:31:35Z) - Hierarchical Consistent Contrastive Learning for Skeleton-Based Action
Recognition with Growing Augmentations [33.68311764817763]
骨格に基づく行動認識のための一般的な階層的一貫したコントラスト学習フレームワーク(HiCLR)を提案する。
具体的には、まず段階的に増大する拡張ポリシーを設計し、複数の順序の正のペアを生成する。
そこで,方向クラスタリング操作による階層的整合性を実現するために,非対称な損失を提案する。
論文 参考訳（メタデータ） (2022-11-24T08:09:50Z) - Improving Contrastive Learning with Model Augmentation [123.05700988581806]
このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。
シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
論文 参考訳（メタデータ） (2022-03-25T06:12:58Z) - Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and
Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。
そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。
粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文 参考訳（メタデータ） (2021-08-15T02:21:01Z) - Augmented Skeleton Based Contrastive Action Learning with Momentum LSTM
for Unsupervised Action Recognition [16.22360992454675]
近年では3Dスケルトンデータによる行動認識が重要視されている。
本稿では,AS-CALという対照的な行動学習パラダイムを初めて提案する。
提案手法は,従来の手作り手法を10～50%の精度で改善する。
論文 参考訳（メタデータ） (2020-08-01T06:37:57Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳（メタデータ） (2020-06-18T19:04:09Z) - MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement
Learning [36.14516028564416]
本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。
システムのサンプリング効率を高めるために,能動的学習法を提案する。
実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
論文 参考訳（メタデータ） (2020-05-30T06:39:55Z) - Sequential Recommendation with Self-Attentive Multi-Adversarial Network [101.25533520688654]
逐次レコメンデーションにおける文脈情報の影響を明示的にモデル化するためのMFGAN(Multi-Factor Generative Adversarial Network)を提案する。
当社のフレームワークは,複数種類の因子情報を組み込むことが柔軟であり,各因子が推奨決定にどのように貢献するかを時間とともに追跡することができる。
論文 参考訳（メタデータ） (2020-05-21T12:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。