論文の概要: Improving Label-Deficient Keyword Spotting Through Self-Supervised Pretraining

• arxiv url: http://arxiv.org/abs/2210.01703v3
• Date: Wed, 24 May 2023 12:17:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 03:09:29.859926
• Title: Improving Label-Deficient Keyword Spotting Through Self-Supervised Pretraining
• Title（参考訳）: 自己教師付き事前学習によるラベル不足キーワードスポッティングの改善
• Authors: Holger Severin Bovbjerg, Zheng-Hua Tan
• Abstract要約: キーワードスポッティング(KWS)モデルは、音声アシスタントなど、様々なシステムに統合されつつある。 KWSモデルは一般的に大量のラベル付きデータに依存しており、それらのアプリケーションはそのようなデータが利用可能な状況に限られる。 自己教師付き学習(SSL)メソッドは、容易に利用可能な未実装データを活用することで、そのような依存を軽減することができる。
• 参考スコア（独自算出の注目度）: 18.19207291891767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Keyword Spotting (KWS) models are becoming increasingly integrated into various systems, e.g. voice assistants. To achieve satisfactory performance, these models typically rely on a large amount of labelled data, limiting their applications only to situations where such data is available. Self-supervised Learning (SSL) methods can mitigate such a reliance by leveraging readily-available unlabelled data. Most SSL methods for speech have primarily been studied for large models, whereas this is not ideal, as compact KWS models are generally required. This paper explores the effectiveness of SSL on small models for KWS and establishes that SSL can enhance the performance of small KWS models when labelled data is scarce. We pretrain three compact transformer-based KWS models using Data2Vec, and fine-tune them on a label-deficient setup of the Google Speech Commands data set. It is found that Data2Vec pretraining leads to a significant increase in accuracy, with label-deficient scenarios showing an improvement of 8.22% 11.18% absolute accuracy.
• Abstract（参考訳）: キーワードスポッティング(KWS)モデルは、音声アシスタントなど様々なシステムに統合されつつある。 良好なパフォーマンスを達成するために、これらのモデルは一般的に大量のラベル付きデータに依存し、それらのアプリケーションはそのようなデータが利用可能な状況に限られる。 自己教師付き学習(ssl)メソッドは、容易に利用できないデータを活用することで、そのような信頼性を軽減できる。 音声のSSL方式は主に大規模モデルで研究されているが、コンパクトなKWSモデルは一般的に必要とされるため、これは理想的ではない。 本稿では,KWS の小さなモデルに対する SSL の有効性について検討し,ラベル付きデータが少ない場合に SSL が小さな KWS モデルの性能を向上させることを実証する。 data2vecを使って3つのコンパクトトランスフォーマーベースのkwsモデルを事前トレーニングし、google speech commandsデータセットのラベル不足設定で微調整した。 Data2Vec事前トレーニングは精度が大幅に向上し、ラベル不足のシナリオでは8.22%の絶対精度が1.18%向上した。

関連論文リスト

• Disentangled Training with Adversarial Examples For Robust Small-footprint Keyword Spotting [18.456711824241978]
  KWSのロバスト性を改善するために,逆例を用いたデータソース対応不整合学習を提案する。 実験結果から,提案手法は偽拒絶率を40.31%,偽受け入れ率1%で改善することが示された。 我々の最高のパフォーマンスシステムは、Google Speech Commands V1データセットで9,8.06%の精度を達成する。
  論文  参考訳（メタデータ） (2024-08-23T20:03:51Z)
• A Closer Look at Benchmarking Self-Supervised Pre-training with Image Classification [51.35500308126506]
  自己教師付き学習(SSL)は、データ自体が監視を提供する機械学習アプローチであり、外部ラベルの必要性を排除している。 SSLの分類に基づく評価プロトコルがどのように相関し、異なるデータセットのダウンストリーム性能を予測するかを検討する。
  論文  参考訳（メタデータ） (2024-07-16T23:17:36Z)
• Noise-Robust Keyword Spotting through Self-supervised Pretraining [11.90089857382705]
  自己教師型学習は、クリーンな条件下での精度を高めることが示されている。 本稿では,KWSモデルの雑音条件下でのロバスト性を高めるためにSSLプリトレーニングをどのように利用できるかを検討する。
  論文  参考訳（メタデータ） (2024-03-27T13:42:14Z)
• Improving Small Footprint Few-shot Keyword Spotting with Supervision on Auxiliary Data [19.075820340282934]
  本稿では,音声データの収集が容易でラベルなしの読み出しを補助的情報源として利用するフレームワークを提案する。 次に、モデルがドメイン外補助データから表現力を向上するのに役立つマルチタスク学習を採用する。
  論文  参考訳（メタデータ） (2023-08-31T07:29:42Z)
• Exploring Representation Learning for Small-Footprint Keyword Spotting [11.586285744728068]
  KWSの主な課題は、ラベル付きデータと限られたデバイスリソースである。 これらの課題に対処するために、自己指導型コントラスト学習と事前学習モデルによる自己学習によるKWSの表現学習について検討する。 音声コマンドデータセットの実験では、自己学習型WVCモジュールと自己教師型LGCSiamモジュールが精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T07:09:26Z)
• Exploring Efficient-tuning Methods in Self-supervised Speech Models [53.633222197712875]
  自己教師付き学習は、異なる音声タスクの強力な表現を学習することができる。 下流タスクでは、SSLモデルのパラメータは凍結され、アダプタのみがトレーニングされる。 90%以上のパラメータ削減を達成できることを示す。
  論文  参考訳（メタデータ） (2022-10-10T11:08:12Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
  我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。 提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
  論文  参考訳（メタデータ） (2022-03-17T02:38:49Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
  セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。 ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。 SSLとTLの5つのタスクをシャープなマージンで上回ります。
  論文  参考訳（メタデータ） (2021-02-25T14:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。