論文の概要: Cross-Model Cross-Stream Learning for Self-Supervised Human Action Recognition

• arxiv url: http://arxiv.org/abs/2307.07791v2
• Date: Mon, 30 Sep 2024 18:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:46.534100
• Title: Cross-Model Cross-Stream Learning for Self-Supervised Human Action Recognition
• Title（参考訳）: 自己監督型人間行動認識のためのクロスモデルクロスストリーム学習
• Authors: Mengyuan Liu, Hong Liu, Tianyu Guo,
• Abstract要約: 本稿ではまず,BYOLと呼ばれる新しいコントラスト学習法を適用し,骨格データから学習する。 SkeletonBYOLにインスパイアされた本論文では,クロスモデルおよびクロスストリームフレームワークをさらに紹介する。
• 参考スコア（独自算出の注目度）: 19.86316311525552
• License:
• Abstract: Considering the instance-level discriminative ability, contrastive learning methods, including MoCo and SimCLR, have been adapted from the original image representation learning task to solve the self-supervised skeleton-based action recognition task. These methods usually use multiple data streams (i.e., joint, motion, and bone) for ensemble learning, meanwhile, how to construct a discriminative feature space within a single stream and effectively aggregate the information from multiple streams remains an open problem. To this end, this paper first applies a new contrastive learning method called BYOL to learn from skeleton data, and then formulate SkeletonBYOL as a simple yet effective baseline for self-supervised skeleton-based action recognition. Inspired by SkeletonBYOL, this paper further presents a Cross-Model and Cross-Stream (CMCS) framework. This framework combines Cross-Model Adversarial Learning (CMAL) and Cross-Stream Collaborative Learning (CSCL). Specifically, CMAL learns single-stream representation by cross-model adversarial loss to obtain more discriminative features. To aggregate and interact with multi-stream information, CSCL is designed by generating similarity pseudo label of ensemble learning as supervision and guiding feature generation for individual streams. Extensive experiments on three datasets verify the complementary properties between CMAL and CSCL and also verify that the proposed method can achieve better results than state-of-the-art methods using various evaluation protocols.
• Abstract（参考訳）: インスタンスレベルの識別能力を考えると、MoCoやSimCLRなどのコントラスト学習手法は、自己教師付き骨格に基づく行動認識タスクを解決するために、オリジナルの画像表現学習タスクから適応されている。 これらの手法は通常、複数のデータストリーム(関節、動き、骨)をアンサンブル学習に用い、一方、単一のストリーム内で識別的特徴空間を構築し、複数のストリームからの情報を効果的に集約する方法は未解決の問題である。 そこで本研究では,まず骨格データから学習するために,BYOLと呼ばれる新しいコントラスト学習法を適用し,その上で,自己教師付き骨格に基づく行動認識のための簡易かつ効果的なベースラインとしてSkeletonBYOLを定式化する。 SkeletonBYOL に触発された本論文では,Cross-Model and Cross-Stream (CMCS) フレームワークをさらに紹介する。 このフレームワークは、CMAL(Cross-Model Adversarial Learning)とCSCL(Cross-Stream Collaborative Learning)を組み合わせたものである。 具体的には、CMALはクロスモデル逆数損失による単一ストリーム表現を学習し、より識別的な特徴を得る。 CSCLは,マルチストリーム情報を集約・対話するために,個別ストリームの監視・誘導機能生成として,アンサンブル学習の類似した擬似ラベルを生成するように設計されている。 3つのデータセットの大規模な実験によりCMALとCSCLの相補的特性が検証され、提案手法が様々な評価プロトコルを用いた最先端手法よりも優れた結果が得られることが検証された。

関連論文リスト

• Discriminative Anchor Learning for Efficient Multi-view Clustering [59.11406089896875]
  マルチビュークラスタリング(DALMC)のための識別的アンカー学習を提案する。 元のデータセットに基づいて、識別的なビュー固有の特徴表現を学習する。 これらの表現に基づいて異なるビューからアンカーを構築することで、共有アンカーグラフの品質が向上します。
  論文  参考訳（メタデータ） (2024-09-25T13:11:17Z)
• An Information Compensation Framework for Zero-Shot Skeleton-based Action Recognition [49.45660055499103]
  ゼロショットの人間の骨格に基づく行動認識は、トレーニング中に見られるカテゴリ外の行動を認識するモデルを構築することを目的としている。 従来の研究では、シーケンスの視覚的空間分布と意味的空間分布の整合性に焦点が当てられていた。 強固で頑健な表現を得るために,新たな損失関数サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-06-02T06:53:01Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination methods [4.680881326162484]
  インスタンス識別に基づく自己教師付き学習アルゴリズム(SSL)は有望な結果を示している。 類似したセマンティックコンテンツを用いてそれらの画像を識別し、肯定的な例として扱うアプローチを提案する。 我々は、ImageNet、STL-10、CIFAR-10の3つのベンチマークデータセットで、異なるインスタンス識別SSLアプローチで実験を行った。
  論文  参考訳（メタデータ） (2023-06-28T11:47:08Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• COCOA: Cross Modality Contrastive Learning for Sensor Data [9.440900386313213]
  COCOA(Cross mOdality Contrastive leArning)は、マルチセンサーデータから品質表現を学習するために、新しい目的関数を利用する自己教師型モデルである。 我々はCOCOAが他のすべてのアプローチよりも優れた分類性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-07-31T16:36:13Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• 3D Human Action Representation Learning via Cross-View Consistency Pursuit [52.19199260960558]
  教師なし3次元骨格に基づく行動表現(CrosSCLR)のためのクロスビューコントラスト学習フレームワークを提案する。 CrosSCLRは、シングルビューのコントラスト学習(SkeletonCLR)とクロスビューの一貫した知識マイニング(CVC-KM)モジュールの両方で構成されています。
  論文  参考訳（メタデータ） (2021-04-29T16:29:41Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。