論文の概要: ATST: Audio Representation Learning with Teacher-Student Transformer
- arxiv url: http://arxiv.org/abs/2204.12076v1
- Date: Tue, 26 Apr 2022 05:10:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-27 21:42:07.523273
- Title: ATST: Audio Representation Learning with Teacher-Student Transformer
- Title（参考訳）: atst: 先生スチューデントトランスフォーマーによる音声表現学習
- Authors: Xian Li and Xiaofei Li
- Abstract要約: 自己教師付き学習(SSL)は、大量のラベル付きデータから知識を学び、その知識を限られたラベル付きデータで特定の問題に転送する。
本研究は、セグメントレベルの一般オーディオSSLの問題に対処し、ATSTという新しいトランスフォーマーベースの教師学生SSLモデルを提案する。
- 参考スコア（独自算出の注目度）: 36.13781864610603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised learning (SSL) learns knowledge from a large amount of
unlabeled data, and then transfers the knowledge to a specific problem with a
limited number of labeled data. SSL has achieved promising results in various
domains. This work addresses the problem of segment-level general audio SSL,
and proposes a new transformer-based teacher-student SSL model, named ATST. A
transformer encoder is developed on a recently emerged teacher-student baseline
scheme, which largely improves the modeling capability of pre-training. In
addition, a new strategy for positive pair creation is designed to fully
leverage the capability of transformer. Extensive experiments have been
conducted, and the proposed model achieves the new state-of-the-art results on
almost all of the downstream tasks.
- Abstract（参考訳）: 自己教師付き学習(ssl)は、大量のラベルのないデータから知識を学習し、限られた数のラベル付きデータで特定の問題に知識を転送する。
SSLは様々な領域で有望な結果を得た。
本研究は、セグメントレベルの一般オーディオSSLの問題に対処し、ATSTという新しいトランスフォーマーベースの教師学生SSLモデルを提案する。
変圧器エンコーダは、最近登場した教師学生ベースラインスキームに基づいて開発され、事前学習のモデリング能力を大幅に向上させる。
さらに, 変圧器の性能をフル活用するために, 正対生成のための新しい戦略を考案した。
広範な実験が行われ,提案手法は下流タスクのほぼすべてにおいて,新たな最先端の成果を達成している。
関連論文リスト
- Erasing the Bias: Fine-Tuning Foundation Models for Semi-Supervised Learning [4.137391543972184]
半教師付き学習(SSL)は目覚ましい進歩をみせており、多くの方法のバリエーションをもたらしている。
本稿では,FinSSLという新しいSSLアプローチを提案する。
我々は、FineSSLが複数のベンチマークデータセットにSSLの新たな状態を設定し、トレーニングコストを6倍以上削減し、さまざまな微調整と現代的なSSLアルゴリズムをシームレスに統合できることを実証した。
論文 参考訳（メタデータ） (2024-05-20T03:33:12Z) - Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact
Detection with Self-Supervised Learning [0.0]
本研究は、自己教師付き学習(SSL)を用いて、このデータから潜伏した特徴を抽出することにより、豊富なラベル付きデータの未利用に対処する。
実験の結果,SSLはTransformerモデルの表現学習能力を大幅に向上させることがわかった。
このアプローチは、注釈付きデータがしばしば制限されるPICU環境において、より広範なアプリケーションに対して約束される。
論文 参考訳（メタデータ） (2024-01-02T04:00:48Z) - Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls
and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。
非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文 参考訳（メタデータ） (2023-08-28T07:55:01Z) - Augmentation-aware Self-supervised Learning with Conditioned Projector [6.720605329045581]
自己教師付き学習(SSL)は、ラベルのないデータから学習するための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文 参考訳（メタデータ） (2023-05-31T12:24:06Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-01-06T08:42:05Z) - CHAPTER: Exploiting Convolutional Neural Network Adapters for
Self-supervised Speech Models [62.60723685118747]
自己教師付き学習(SSL)は、ラベルのないデータから表現を学習するための強力な技術である。
特徴抽出器にCNNアダプタを適用し,SSL音声モデルに特化して設計された効率的なチューニング手法を提案する。
特徴抽出器にCNNを追加することで、感情や話者のタスクへの適応が促進されることを実証的に見出した。
論文 参考訳（メタデータ） (2022-12-01T08:50:12Z) - Learning General Audio Representations with Large-Scale Training of
Patchout Audio Transformers [6.002503434201551]
大規模データセットで学習した音声変換器を用いて汎用表現を学習する。
その結果,音声変換器で抽出した表現はCNN表現よりも優れていた。
論文 参考訳（メタデータ） (2022-11-25T08:39:12Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - A Strong Baseline for Semi-Supervised Incremental Few-Shot Learning [54.617688468341704]
少ないショット学習は、限られたトレーニングサンプルを持つ新しいクラスに一般化するモデルを学ぶことを目的としている。
本研究では,(1)信頼できない擬似ラベルによる基本クラスと新クラスのあいまいさを緩和する高度に設計されたメタトレーニングアルゴリズム,(2)ラベルの少ないデータとラベルなしデータを用いて基礎知識を保ちながら,新クラスの識別的特徴を学習するモデル適応機構を提案する。
論文 参考訳（メタデータ） (2021-10-21T13:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。