論文の概要: HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions

• arxiv url: http://arxiv.org/abs/2304.00387v1
• Date: Sat, 1 Apr 2023 21:09:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 18:27:44.435005
• Title: HaLP: Hallucinating Latent Positives for Skeleton-based Self-Supervised Learning of Actions
• Title（参考訳）: halp: スケルトンに基づく自己教師付き行動学習のための潜在正の幻覚
• Authors: Anshul Shah, Aniket Roy, Ketul Shah, Shlok Kumar Mishra, David Jacobs, Anoop Cherian, Rama Chellappa
• Abstract要約: ラベルなしの骨格に基づく行動認識のためのモデル学習のための新しいコントラスト学習手法を提案する。 私たちの重要な貢献は、単純なモジュールであるHalucinate Latent Positivesのコントラスト学習へのHalucinate HaLPです。 実験を通して、標準のコントラスト学習フレームワーク内でこれらの生成した正を使用すれば、一貫した改善がもたらされることを示す。
• 参考スコア（独自算出の注目度）: 69.14257241250046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised learning of skeleton sequence encoders for action recognition has received significant attention in recent times. However, learning such encoders without labels continues to be a challenging problem. While prior works have shown promising results by applying contrastive learning to pose sequences, the quality of the learned representations is often observed to be closely tied to data augmentations that are used to craft the positives. However, augmenting pose sequences is a difficult task as the geometric constraints among the skeleton joints need to be enforced to make the augmentations realistic for that action. In this work, we propose a new contrastive learning approach to train models for skeleton-based action recognition without labels. Our key contribution is a simple module, HaLP - to Hallucinate Latent Positives for contrastive learning. Specifically, HaLP explores the latent space of poses in suitable directions to generate new positives. To this end, we present a novel optimization formulation to solve for the synthetic positives with an explicit control on their hardness. We propose approximations to the objective, making them solvable in closed form with minimal overhead. We show via experiments that using these generated positives within a standard contrastive learning framework leads to consistent improvements across benchmarks such as NTU-60, NTU-120, and PKU-II on tasks like linear evaluation, transfer learning, and kNN evaluation. Our code will be made available at https://github.com/anshulbshah/HaLP.
• Abstract（参考訳）: 近年,行動認識のための骨格配列エンコーダの監視学習が注目されている。 しかし、ラベルのないエンコーダの学習は依然として難しい問題である。 先行研究は、ポーズシーケンスに対比学習を適用することで有望な結果を示しているが、学習表現の品質は、ポジティブな結果を作るのに使われるデータ拡張と密接に関連しているとしばしば観察される。 しかし, ポーズ列の増大は, 骨格関節の幾何的制約を強制する必要があるため, その動作を現実的にするためには難しい課題である。 本研究では,ラベルを使わずにスケルトンベース行動認識モデルを構築するための,新しいコントラスト学習手法を提案する。 私たちの重要な貢献は、単純なモジュールであるHalucinate Latent Positivesのコントラスト学習へのHaLPです。 具体的には、HaLPはポーズの潜在空間を適切な方向に探索し、新しい陽性を生成する。 そこで本研究では, 合成正の硬さを明示的に制御して解くための新しい最適化式を提案する。 目的に対する近似を提案し、最小限のオーバーヘッドで閉じた形で解けるようにする。 実験により, 標準コントラスト学習フレームワーク内で生成した正値を用いることで, NTU-60, NTU-120, PKU-IIなどのベンチマークにおいて, 線形評価, 伝達学習, kNN評価などのタスクにおいて一貫した改善がもたらされることを示す。 私たちのコードはhttps://github.com/anshulbshah/HaLPで公開されます。

関連論文リスト

• CODE-CL: COnceptor-Based Gradient Projection for DEep Continual Learning [7.573297026523597]
  我々は,Deep Continual Learning (CODE-CL) のためのConceptor-based gradient projectionを導入する。 CODE-CLは、過去のタスクの入力空間における方向的重要性を符号化し、新しい知識統合を1-S$で変調する。 概念に基づく表現を用いてタスク重複を分析し,高い相関性を持つタスクを同定する。
  論文  参考訳（メタデータ） (2024-11-21T22:31:06Z)
• Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label Regeneration and BEVMix [59.55173022987071]
  クラス非依存動作予測のための半教師あり学習の可能性について検討する。 我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。 本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-12-13T09:32:50Z)
• Continual Contrastive Spoken Language Understanding [33.09005399967931]
  COCONUTは、経験リプレイとコントラスト学習の組み合わせに依存するクラスインクリメンタルラーニング(CIL)手法である。 我々は,COCONUTをデコーダ側で動作するメソッドと組み合わせることで,さらなるメトリクス改善を実現することを示す。
  論文  参考訳（メタデータ） (2023-10-04T10:09:12Z)
• HYperbolic Self-Paced Learning for Self-Supervised Skeleton-based Action Representations [4.870652964208548]
  骨格に基づく行動表現を学習するためのハイペルボリック・セルフパスモデル(HYSP)を提案する。 HYSPは、データ拡張を使用して、同じサンプルの2つのビューを生成し、一方(オンラインと命名された)をもう一方(ターゲット)にマッチさせることで学習する。
  論文  参考訳（メタデータ） (2023-03-10T23:22:41Z)
• Understanding and Mitigating Overfitting in Prompt Tuning for Vision-Language Models [108.13378788663196]
  本稿では, トレーニング過程全体において, 低ランク部分空間にバックプロパゲーションの勾配を投影するSubspace Prompt Tuning(SubPT)を提案する。 我々はCoOpにノベル・ラーナー・フィーチャー(NFL)を装備し、学習したプロンプトをトレーニングセット以外の新しいカテゴリに一般化する能力を高める。
  論文  参考訳（メタデータ） (2022-11-04T02:06:22Z)
• Improving Contrastive Learning with Model Augmentation [123.05700988581806]
  このシーケンシャルレコメンデーションは,ユーザ行動における次の項目を予測することを目的としている。 シーケンスにおけるデータの分散性やノイズの問題から,新たな自己教師付き学習(SSL)パラダイムが提案され,性能が向上した。
  論文  参考訳（メタデータ） (2022-03-25T06:12:58Z)
• What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks? [59.51457877578138]
  本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。 本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
  論文  参考訳（メタデータ） (2022-02-12T06:10:15Z)
• A Self-Supervised Gait Encoding Approach with Locality-Awareness for 3D Skeleton Based Person Re-Identification [65.18004601366066]
  3Dスケルトン配列内の歩行特徴による人物再識別(Re-ID)は、いくつかの利点を持つ新しい話題である。 本稿では、ラベルのない骨格データを利用して人物の歩行表現を学習できる自己教師付き歩行符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-09-05T16:06:04Z)
• Continual Learning with Node-Importance based Adaptive Group Sparse Regularization [30.23319528662881]
  AGS-CL(Adaptive Group Sparsity based Continual Learning)と呼ばれる新しい正規化に基づく連続学習手法を提案する。 提案手法は,各ノードが重要度に基づいて学習する際の2つの罰則を選択的に利用し,各タスクを学習した後に適応的に更新する。
  論文  参考訳（メタデータ） (2020-03-30T18:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。