論文の概要: Improving Label-Deficient Keyword Spotting Using Self-Supervised Pretraining

• arxiv url: http://arxiv.org/abs/2210.01703v1
• Date: Tue, 4 Oct 2022 15:56:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 15:52:51.665180
• Title: Improving Label-Deficient Keyword Spotting Using Self-Supervised Pretraining
• Title（参考訳）: 自己教師付き事前学習によるラベル不足キーワードスポッティングの改善
• Authors: Holger Severin Bovbjerg (1), Zheng-Hua Tan (1) ((1) Aalborg University)
• Abstract要約: ラベル不足シナリオにおけるより小さなKWSモデルに対する自己教師付き事前学習の使用について検討する。 データ2Vec事前学習は,ラベル不足シナリオにおけるKWSモデルの性能を向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, the development of accurate deep keyword spotting (KWS) models has resulted in KWS technology being embedded in a number of technologies such as voice assistants. Many of these models rely on large amounts of labelled data to achieve good performance. As a result, their use is restricted to applications for which a large labelled speech data set can be obtained. Self-supervised learning seeks to mitigate the need for large labelled data sets by leveraging unlabelled data, which is easier to obtain in large amounts. However, most self-supervised methods have only been investigated for very large models, whereas KWS models are desired to be small. In this paper, we investigate the use of self-supervised pretraining for the smaller KWS models in a label-deficient scenario. We pretrain the Keyword Transformer model using the self-supervised framework Data2Vec and carry out experiments on a label-deficient setup of the Google Speech Commands data set. It is found that the pretrained models greatly outperform the models without pretraining, showing that Data2Vec pretraining can increase the performance of KWS models in label-deficient scenarios. The source code is made publicly available.
• Abstract（参考訳）: 近年、精度の高いkws(deep keyword spotting)モデルが開発され、音声アシスタントなど多くの技術にkws技術が組み込まれている。 これらのモデルの多くは、優れたパフォーマンスを達成するために大量のラベル付きデータに依存している。 その結果、その用途は、大きなラベル付き音声データセットが得られるアプリケーションに限られる。 自己教師付き学習は、大規模ラベル付きデータセットの必要性を軽減し、大量のデータを得るのが容易な非ラベル付きデータを活用する。 しかしながら、ほとんどの自己管理手法は、非常に大きなモデルに対してのみ研究されているが、KWSモデルは小さいことを望んでいる。 本稿では,ラベル不足シナリオにおけるより小さなKWSモデルに対する自己教師付き事前学習の利用について検討する。 我々は,自己教師型フレームワークData2Vecを用いてキーワードトランスフォーマーモデルを事前訓練し,Google Speech Commandsデータセットのラベル不足設定実験を行う。 データ2Vec事前学習は,ラベル不足シナリオにおけるKWSモデルの性能を向上させることができることを示す。 ソースコードは公開されています。

関連論文リスト

• Disentangled Training with Adversarial Examples For Robust Small-footprint Keyword Spotting [18.456711824241978]
  KWSのロバスト性を改善するために,逆例を用いたデータソース対応不整合学習を提案する。 実験結果から,提案手法は偽拒絶率を40.31%,偽受け入れ率1%で改善することが示された。 我々の最高のパフォーマンスシステムは、Google Speech Commands V1データセットで9,8.06%の精度を達成する。
  論文  参考訳（メタデータ） (2024-08-23T20:03:51Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Noise-Robust Keyword Spotting through Self-supervised Pretraining [11.90089857382705]
  自己教師型学習は、クリーンな条件下での精度を高めることが示されている。 本稿では,KWSモデルの雑音条件下でのロバスト性を高めるためにSSLプリトレーニングをどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2024-03-27T13:42:14Z)
• Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data [19.075820340282934]
  本稿では,音声データの収集が容易でラベルなしの読み出しを補助的情報源として利用するフレームワークを提案する。 次に、モデルがドメイン外補助データから表現力を向上するのに役立つマルチタスク学習を採用する。
  論文  参考訳（メタデータ） (2023-08-31T07:29:42Z)
• Exploring Representation Learning for Small-Footprint Keyword Spotting [11.586285744728068]
  KWSの主な課題は、ラベル付きデータと限られたデバイスリソースである。 これらの課題に対処するために、自己指導型コントラスト学習と事前学習モデルによる自己学習によるKWSの表現学習について検討する。 音声コマンドデータセットの実験では、自己学習型WVCモジュールと自己教師型LGCSiamモジュールが精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T07:09:26Z)
• Exploring Efficient-tuning Methods in Self-supervised Speech Models [53.633222197712875]
  自己教師付き学習は、異なる音声タスクの強力な表現を学習することができる。 下流タスクでは、SSLモデルのパラメータは凍結され、アダプタのみがトレーニングされる。 90%以上のパラメータ削減を達成できることを示す。
  論文  参考訳（メタデータ） (2022-10-10T11:08:12Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。