論文の概要: Learning Discriminative Spatio-temporal Representations for Semi-supervised Action Recognition
- arxiv url: http://arxiv.org/abs/2404.16416v1
- Date: Thu, 25 Apr 2024 08:49:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 14:28:55.223099
- Title: Learning Discriminative Spatio-temporal Representations for Semi-supervised Action Recognition
- Title（参考訳）: 半教師あり行動認識のための識別時空間表現の学習
- Authors: Yu Wang, Sanping Zhou, Kun Xia, Le Wang,
- Abstract要約: 本稿では,適応コントラスト学習(ACL)戦略とマルチスケールテンポラル学習(MTL)戦略を提案する。
ACL戦略は、ラベル付きデータのクラスプロトタイプにより、全ての未ラベルサンプルの信頼性を評価し、擬ラベル付きサンプルバンクから正負のサンプルを適応的に選択し、コントラスト学習を構築する。
MTL戦略は、長期クリップからの情報的意味を強調し、ノイズ情報を抑制しながら、それらを短期クリップに統合する。
- 参考スコア（独自算出の注目度）: 23.44320273156057
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised action recognition aims to improve spatio-temporal reasoning ability with a few labeled data in conjunction with a large amount of unlabeled data. Albeit recent advancements, existing powerful methods are still prone to making ambiguous predictions under scarce labeled data, embodied as the limitation of distinguishing different actions with similar spatio-temporal information. In this paper, we approach this problem by empowering the model two aspects of capability, namely discriminative spatial modeling and temporal structure modeling for learning discriminative spatio-temporal representations. Specifically, we propose an Adaptive Contrastive Learning~(ACL) strategy. It assesses the confidence of all unlabeled samples by the class prototypes of the labeled data, and adaptively selects positive-negative samples from a pseudo-labeled sample bank to construct contrastive learning. Additionally, we introduce a Multi-scale Temporal Learning~(MTL) strategy. It could highlight informative semantics from long-term clips and integrate them into the short-term clip while suppressing noisy information. Afterwards, both of these two new techniques are integrated in a unified framework to encourage the model to make accurate predictions. Extensive experiments on UCF101, HMDB51 and Kinetics400 show the superiority of our method over prior state-of-the-art approaches.
- Abstract（参考訳）: 半教師付き行動認識は,少数のラベル付きデータと大量のラベル付きデータによる時空間推論能力の向上を目的としている。
近年の進歩にもかかわらず、既存の強力な手法は、類似の時空間情報と異なる行動の区別の限界として具体化された、ラベル付きデータ不足の下で曖昧な予測を行う傾向にある。
本稿では,識別的空間モデリングと時間構造モデリングという2つの能力のモデルに,識別的時空間表現を学習するための2つの側面を付与することで,この問題に対処する。
具体的には,適応的コントラスト学習(Adaptive Contrastive Learning~ACL)戦略を提案する。
ラベル付きデータのクラスプロトタイプを用いて、すべてのラベル付きサンプルの信頼性を評価し、擬ラベル付きサンプルバンクから正負のサンプルを適応的に選択し、コントラスト学習を構築する。
さらに,マルチスケールテンポラルラーニング(MTL)戦略を導入する。
長期的なクリップからの情報的意味を強調し、ノイズの多い情報を抑えながら、それらを短期的なクリップに統合することができる。
その後、これらの2つの新しいテクニックは統合されたフレームワークに統合され、モデルが正確な予測を行うように促される。
UCF101, HMDB51, Kinetics400の大規模実験により, 従来の最先端手法に比べて, 提案手法の優位性を示した。
関連論文リスト
- Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。
DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。
10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-20T01:34:13Z) - Memory Consistency Guided Divide-and-Conquer Learning for Generalized
Category Discovery [56.172872410834664]
一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。
メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。
本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-01-24T09:39:45Z) - Semi-Supervised Class-Agnostic Motion Prediction with Pseudo Label
Regeneration and BEVMix [59.55173022987071]
クラス非依存動作予測のための半教師あり学習の可能性について検討する。
我々のフレームワークは一貫性に基づく自己学習パラダイムを採用しており、ラベルのないデータからモデルを学習することができる。
本手法は,弱さと完全教師付き手法に匹敵する性能を示す。
論文 参考訳（メタデータ） (2023-12-13T09:32:50Z) - CLIMAX: An exploration of Classifier-Based Contrastive Explanations [5.381004207943597]
我々は,ブラックボックスの分類を正当化する対照的な説明を提供する,ポストホックモデルXAI手法を提案する。
CLIMAXと呼ばれる手法は,局所的な分類法に基づく。
LIME, BayLIME, SLIMEなどのベースラインと比較して, 一貫性が向上することを示す。
論文 参考訳（メタデータ） (2023-07-02T22:52:58Z) - Deep Semi-supervised Learning with Double-Contrast of Features and
Semantics [2.2230089845369094]
本稿では,エンド・ツー・エンドの半教師あり学習における意味と特徴の二重コントラストを提案する。
我々は情報理論を活用し、意味論と特徴の二重コントラストの合理性を説明する。
論文 参考訳（メタデータ） (2022-11-28T09:08:19Z) - DUET: Cross-modal Semantic Grounding for Contrastive Zero-shot Learning [37.48292304239107]
本稿では, DUET という変換器を用いたエンドツーエンドZSL手法を提案する。
画像からセマンティック属性を分離するモデルの能力を調べるために,モーダルなセマンティックグラウンドネットワークを開発した。
DUETは、しばしば最先端のパフォーマンスを達成することができ、そのコンポーネントは有効であり、予測は解釈可能である。
論文 参考訳（メタデータ） (2022-07-04T11:12:12Z) - Few-Shot Fine-Grained Action Recognition via Bidirectional Attention and
Contrastive Meta-Learning [51.03781020616402]
現実世界のアプリケーションで特定のアクション理解の需要が高まっているため、きめ細かいアクション認識が注目を集めている。
そこで本研究では,各クラスに付与されるサンプル数だけを用いて,新規なきめ細かい動作を認識することを目的とした,数発のきめ細かな動作認識問題を提案する。
粒度の粗い動作では進展があったが、既存の数発の認識手法では、粒度の細かい動作を扱う2つの問題に遭遇する。
論文 参考訳（メタデータ） (2021-08-15T02:21:01Z) - MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。
本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。
特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文 参考訳（メタデータ） (2021-07-23T06:57:08Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳（メタデータ） (2020-09-30T05:19:56Z) - Fair Meta-Learning For Few-Shot Classification [7.672769260569742]
バイアスデータに基づいてトレーニングされた機械学習アルゴリズムは、不公平な予測を行う傾向がある。
本稿では,メタトレイン中のバイアスを効果的に軽減する,高速適応型数ショットメタラーニング手法を提案する。
提案手法は,モデル出力のバイアスを効果的に軽減し,不明瞭なタスクに対して精度と公平性の両方を一般化することを実証的に実証する。
論文 参考訳（メタデータ） (2020-09-23T22:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。