論文の概要: Joint Adversarial and Collaborative Learning for Self-Supervised Action Recognition

• arxiv url: http://arxiv.org/abs/2307.07791v1
• Date: Sat, 15 Jul 2023 12:37:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 17:48:17.942378
• Title: Joint Adversarial and Collaborative Learning for Self-Supervised Action Recognition
• Title（参考訳）: 自己監督行動認識のための共同学習と協調学習
• Authors: Tianyu Guo, Mengyuan Liu, Hong Liu, Wenhao Li, Jingwen Guo, Tao Wang, Yidi Li
• Abstract要約: 本稿では,CMAL(Cross-Model Adversarial Learning)とCSCL(Cross-Stream Collaborative Learning)を組み合わせた共同学習フレームワークを提案する。 CMALはクロスモデル逆数損失により単一ストリーム表現を学習し、より識別的な特徴を得る。 CSCLは,マルチストリーム情報を集約し,対話するために,アンサンブル学習の類似性の擬似ラベルを監督として生成して設計する。
• 参考スコア（独自算出の注目度）: 25.25370509635083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Considering the instance-level discriminative ability, contrastive learning methods, including MoCo and SimCLR, have been adapted from the original image representation learning task to solve the self-supervised skeleton-based action recognition task. These methods usually use multiple data streams (i.e., joint, motion, and bone) for ensemble learning, meanwhile, how to construct a discriminative feature space within a single stream and effectively aggregate the information from multiple streams remains an open problem. To this end, we first apply a new contrastive learning method called BYOL to learn from skeleton data and formulate SkeletonBYOL as a simple yet effective baseline for self-supervised skeleton-based action recognition. Inspired by SkeletonBYOL, we further present a joint Adversarial and Collaborative Learning (ACL) framework, which combines Cross-Model Adversarial Learning (CMAL) and Cross-Stream Collaborative Learning (CSCL). Specifically, CMAL learns single-stream representation by cross-model adversarial loss to obtain more discriminative features. To aggregate and interact with multi-stream information, CSCL is designed by generating similarity pseudo label of ensemble learning as supervision and guiding feature generation for individual streams. Exhaustive experiments on three datasets verify the complementary properties between CMAL and CSCL and also verify that our method can perform favorably against state-of-the-art methods using various evaluation protocols. Our code and models are publicly available at \url{https://github.com/Levigty/ACL}.
• Abstract（参考訳）: インスタンスレベルの判別能力を考慮すると、mocoやsimclrを含むコントラスト学習手法が元の画像表現学習課題から適応され、自己教師付き骨格に基づく行動認識課題が解決される。 これらの手法は通常、複数のデータストリーム(関節、動き、骨)をアンサンブル学習に用い、一方、単一のストリーム内で識別的特徴空間を構築し、複数のストリームからの情報を効果的に集約する方法は未解決の問題である。 そこで我々はまず,BYOLと呼ばれる新しいコントラスト学習手法を適用し,骨格データから学習し,SkeletonBYOLを自己教師型骨格に基づく行動認識のための単純かつ効果的なベースラインとして定式化する。 さらに,SkeletonBYOLに触発されて,CMAL(Cross-Model Adversarial Learning)とCSCL(Cross-Stream Collaborative Learning)を組み合わせた,ACL(Adversarial and Collaborative Learning)フレームワークを提案する。 具体的には、CMALはクロスモデル逆数損失による単一ストリーム表現を学習し、より識別的な特徴を得る。 複数ストリーム情報の集約と対話を行うため、csclは、個別ストリームに対する特徴生成の監督と指導としてアンサンブル学習の類似性擬似ラベルを生成して設計する。 3つのデータセットに対する実験によりCMALとCSCLの相補性を検証するとともに,各種評価プロトコルを用いた最先端手法に対して,本手法が有効であることを示す。 私たちのコードとモデルは、 \url{https://github.com/levigty/acl}で公開されている。

関連論文リスト

• Discriminative Anchor Learning for Efficient Multi-view Clustering [59.11406089896875]
  マルチビュークラスタリング(DALMC)のための識別的アンカー学習を提案する。 元のデータセットに基づいて、識別的なビュー固有の特徴表現を学習する。 これらの表現に基づいて異なるビューからアンカーを構築することで、共有アンカーグラフの品質が向上します。
  論文  参考訳（メタデータ） (2024-09-25T13:11:17Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• COCOA: Cross Modality Contrastive Learning for Sensor Data [9.440900386313213]
  COCOA(Cross mOdality Contrastive leArning)は、マルチセンサーデータから品質表現を学習するために、新しい目的関数を利用する自己教師型モデルである。 我々はCOCOAが他のすべてのアプローチよりも優れた分類性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-07-31T16:36:13Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。