論文の概要: Joint Adversarial and Collaborative Learning for Self-Supervised Action
Recognition
- arxiv url: http://arxiv.org/abs/2307.07791v1
- Date: Sat, 15 Jul 2023 12:37:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 17:48:17.942378
- Title: Joint Adversarial and Collaborative Learning for Self-Supervised Action
Recognition
- Title(参考訳): 自己監督行動認識のための共同学習と協調学習
- Authors: Tianyu Guo, Mengyuan Liu, Hong Liu, Wenhao Li, Jingwen Guo, Tao Wang,
Yidi Li
- Abstract要約: 本稿では,CMAL(Cross-Model Adversarial Learning)とCSCL(Cross-Stream Collaborative Learning)を組み合わせた共同学習フレームワークを提案する。
CMALはクロスモデル逆数損失により単一ストリーム表現を学習し、より識別的な特徴を得る。
CSCLは,マルチストリーム情報を集約し,対話するために,アンサンブル学習の類似性の擬似ラベルを監督として生成して設計する。
- 参考スコア(独自算出の注目度): 25.25370509635083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Considering the instance-level discriminative ability, contrastive learning
methods, including MoCo and SimCLR, have been adapted from the original image
representation learning task to solve the self-supervised skeleton-based action
recognition task. These methods usually use multiple data streams (i.e., joint,
motion, and bone) for ensemble learning, meanwhile, how to construct a
discriminative feature space within a single stream and effectively aggregate
the information from multiple streams remains an open problem. To this end, we
first apply a new contrastive learning method called BYOL to learn from
skeleton data and formulate SkeletonBYOL as a simple yet effective baseline for
self-supervised skeleton-based action recognition. Inspired by SkeletonBYOL, we
further present a joint Adversarial and Collaborative Learning (ACL) framework,
which combines Cross-Model Adversarial Learning (CMAL) and Cross-Stream
Collaborative Learning (CSCL). Specifically, CMAL learns single-stream
representation by cross-model adversarial loss to obtain more discriminative
features. To aggregate and interact with multi-stream information, CSCL is
designed by generating similarity pseudo label of ensemble learning as
supervision and guiding feature generation for individual streams. Exhaustive
experiments on three datasets verify the complementary properties between CMAL
and CSCL and also verify that our method can perform favorably against
state-of-the-art methods using various evaluation protocols. Our code and
models are publicly available at \url{https://github.com/Levigty/ACL}.
- Abstract(参考訳): インスタンスレベルの判別能力を考慮すると、mocoやsimclrを含むコントラスト学習手法が元の画像表現学習課題から適応され、自己教師付き骨格に基づく行動認識課題が解決される。
これらの手法は通常、複数のデータストリーム(関節、動き、骨)をアンサンブル学習に用い、一方、単一のストリーム内で識別的特徴空間を構築し、複数のストリームからの情報を効果的に集約する方法は未解決の問題である。
そこで我々はまず,BYOLと呼ばれる新しいコントラスト学習手法を適用し,骨格データから学習し,SkeletonBYOLを自己教師型骨格に基づく行動認識のための単純かつ効果的なベースラインとして定式化する。
さらに,SkeletonBYOLに触発されて,CMAL(Cross-Model Adversarial Learning)とCSCL(Cross-Stream Collaborative Learning)を組み合わせた,ACL(Adversarial and Collaborative Learning)フレームワークを提案する。
具体的には、CMALはクロスモデル逆数損失による単一ストリーム表現を学習し、より識別的な特徴を得る。
複数ストリーム情報の集約と対話を行うため、csclは、個別ストリームに対する特徴生成の監督と指導としてアンサンブル学習の類似性擬似ラベルを生成して設計する。
3つのデータセットに対する実験によりCMALとCSCLの相補性を検証するとともに,各種評価プロトコルを用いた最先端手法に対して,本手法が有効であることを示す。
私たちのコードとモデルは、 \url{https://github.com/levigty/acl}で公開されている。
関連論文リスト
- Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based
Action Recognition [22.067143671631303]
自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。
骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。
具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
論文 参考訳(メタデータ) (2023-05-03T10:31:35Z) - Implicit Offline Reinforcement Learning via Supervised Learning [83.8241505499762]
監視学習によるオフライン強化学習(RL)は、さまざまな専門レベルのポリシーによって収集されたデータセットからロボットスキルを学ぶための、シンプルで効果的な方法である。
我々は、暗黙的なモデルが返却情報を利用して、固定されたデータセットからロボットスキルを取得するために、明示的なアルゴリズムにマッチするか、あるいは性能を向上するかを示す。
論文 参考訳(メタデータ) (2022-10-21T21:59:42Z) - Learning Deep Representations via Contrastive Learning for Instance
Retrieval [11.736450745549792]
本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。
本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
論文 参考訳(メタデータ) (2022-09-28T04:36:34Z) - COCOA: Cross Modality Contrastive Learning for Sensor Data [9.440900386313213]
COCOA(Cross mOdality Contrastive leArning)は、マルチセンサーデータから品質表現を学習するために、新しい目的関数を利用する自己教師型モデルである。
我々はCOCOAが他のすべてのアプローチよりも優れた分類性能を発揮することを示す。
論文 参考訳(メタデータ) (2022-07-31T16:36:13Z) - Adaptive Soft Contrastive Learning [19.45520684918576]
本稿では,適応型ソフトコントラスト学習(ASCL)という,サンプル間のソフトな関係を導入する適応手法を提案する。
既存の自己教師付き学習フレームワークのための効果的で簡潔なプラグインモジュールとして、ASCLはいくつかのベンチマークで最高のパフォーマンスを達成している。
論文 参考訳(メタデータ) (2022-07-22T16:01:07Z) - Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based
Action Recognition [88.34182299496074]
アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。
我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。
時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
論文 参考訳(メタデータ) (2022-07-17T07:05:39Z) - Using Representation Expressiveness and Learnability to Evaluate
Self-Supervised Learning Methods [61.49061000562676]
本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。
CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。
CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
論文 参考訳(メタデータ) (2022-06-02T19:05:13Z) - Joint-bone Fusion Graph Convolutional Network for Semi-supervised
Skeleton Action Recognition [65.78703941973183]
本稿では,CD-JBF-GCNをエンコーダとし,ポーズ予測ヘッドをデコーダとして使用する新しい相関駆動型ジョイントボーン・フュージョングラフ畳み込みネットワークを提案する。
具体的には、CD-JBF-GCは、関節ストリームと骨ストリームの間の運動伝達を探索することができる。
自己教師型トレーニング段階におけるポーズ予測に基づくオートエンコーダにより、未ラベルデータから動作表現を学習することができる。
論文 参考訳(メタデータ) (2022-02-08T16:03:15Z) - 3D Human Action Representation Learning via Cross-View Consistency
Pursuit [52.19199260960558]
教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。
CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
論文 参考訳(メタデータ) (2021-04-29T16:29:41Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。