論文の概要: Knowledge Distillation and Data Selection for Semi-Supervised Learning
in CTC Acoustic Models
- arxiv url: http://arxiv.org/abs/2008.03923v1
- Date: Mon, 10 Aug 2020 07:00:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 23:13:46.946988
- Title: Knowledge Distillation and Data Selection for Semi-Supervised Learning
in CTC Acoustic Models
- Title（参考訳）: CTC音響モデルにおける半教師付き学習のための知識蒸留とデータ選択
- Authors: Prakhar Swarup, Debmalya Chakrabarty, Ashtosh Sapru, Hitesh Tulsiani,
Harish Arsikere, Sri Garimella
- Abstract要約: 半教師付き学習 (SSL) は, 音声認識システムの精度を向上させるために, ラベルのないデータを活用することを目的とした研究の活発な領域である。
本研究の目的は, 不正データのプールからサンプルを選択する際に, 適切な基準が重要であることを確かめることである。
我々は、この疑問に答え、異なるサンプリング戦略の効果を定量化するために、異なるデータ選択方法の実証的研究を行う。
- 参考スコア（独自算出の注目度）: 9.496916045581736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-supervised learning (SSL) is an active area of research which aims to
utilize unlabelled data in order to improve the accuracy of speech recognition
systems. The current study proposes a methodology for integration of two key
ideas: 1) SSL using connectionist temporal classification (CTC) objective and
teacher-student based learning 2) Designing effective data-selection mechanisms
for leveraging unlabelled data to boost performance of student models. Our aim
is to establish the importance of good criteria in selecting samples from a
large pool of unlabelled data based on attributes like confidence measure,
speaker and content variability. The question we try to answer is: Is it
possible to design a data selection mechanism which reduces dependence on a
large set of randomly selected unlabelled samples without compromising on Word
Error Rate (WER)? We perform empirical investigations of different data
selection methods to answer this question and quantify the effect of different
sampling strategies. On a semi-supervised ASR setting with 40000 hours of
carefully selected unlabelled data, our CTC-SSL approach gives 17% relative WER
improvement over a baseline CTC system trained with labelled data. It also
achieves on-par performance with CTC-SSL system trained on order of magnitude
larger unlabeled data based on random sampling.
- Abstract（参考訳）: 半教師付き学習 (SSL) は, 音声認識システムの精度を向上させるために, ラベルのないデータを活用する研究の活発な領域である。
本研究は,2つの主要なアイデアを統合するための方法論を提案する。
1)コネクショニスト時間分類(CTC)目標と教師-学生学習を用いたSSL
2) 学生モデルの性能向上のために, 不正データを活用する効果的なデータ選択機構を設計する。
本研究の目的は,信頼度尺度,話者,コンテンツの変動性といった属性に基づいて,ラベルなしデータの大きなプールからサンプルを選択する際の適切な基準を確立することである。
単語誤り率(wer)を損なうことなく、ランダムに選択された多数の非ラベルサンプルのセットへの依存を減らすデータ選択機構を設計することは可能か?
そこで本研究では,様々なデータ選択手法について経験的調査を行い,異なるサンプリング戦略の効果を定量化する。
CTC-SSLアプローチでは, ラベル付きデータでトレーニングしたベースラインCTCシステムに対して, 17%の相対的なWER改善が得られた。
また,CTC-SSLシステムを用いて,ランダムサンプリングに基づく大規模未ラベルデータの順にトレーニングした。
関連論文リスト
- Semi-Supervised Cognitive State Classification from Speech with Multi-View Pseudo-Labeling [21.82879779173242]
ラベル付きデータの欠如は、音声分類タスクにおいて共通の課題である。
そこで我々は,新しい多視点擬似ラベル手法を導入したセミスーパーバイザードラーニング(SSL)フレームワークを提案する。
感情認識と認知症検出タスクにおけるSSLフレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-09-25T13:51:19Z) - Diversify and Conquer: Diversity-Centric Data Selection with Iterative Refinement [8.509688686402438]
命令データ上での大規模言語モデルの微調整は、事前訓練された知識の強化と命令追従能力の向上に不可欠である。
この作業は問題に対処する: 効果的なトレーニングのために、データの最適なサブセットをどうやって決定できるのか?
提案手法では,k平均クラスタリングを用いて,選択したサブセットが全データセットを効果的に表現できるようにする。
論文 参考訳（メタデータ） (2024-09-17T17:25:31Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - Unsupervised Fine-Tuning Data Selection for ASR Using Self-Supervised
Speech Models [13.956691231452336]
自己教師付き学習(SSL)は、ラベルのないデータを利用して自動音声認識(ASR)モデルの性能を向上させることができる。
本研究は,限られた転写予算の下でHuBERTモデルを微調整するための,教師なしデータ選択手法について検討する。
論文 参考訳（メタデータ） (2022-12-03T18:05:08Z) - Exploiting Diversity of Unlabeled Data for Label-Efficient
Semi-Supervised Active Learning [57.436224561482966]
アクティブラーニング(英: Active Learning)は、ラベリングのための最も重要なサンプルを選択することで、高価なラベリングの問題に対処する研究分野である。
アクティブな学習環境における初期ラベル付けのための最も情報性の高いサンプル群を選択するために,多様性に基づく新しい初期データセット選択アルゴリズムを提案する。
また、一貫性に基づく埋め込みの多様性に基づくサンプリングを用いた、新しいアクティブな学習クエリ戦略を提案する。
論文 参考訳（メタデータ） (2022-07-25T16:11:55Z) - Pseudo-Labeled Auto-Curriculum Learning for Semi-Supervised Keypoint
Localization [88.74813798138466]
オブジェクトのキーポイントのローカライズは、基本的な視覚的問題である。
キーポイントローカライゼーションネットワークの教師付き学習は、しばしば大量のデータを必要とする。
本稿では,一連の動的しきい値を持つ信頼度の高い擬似ラベルサンプルを自動的に選択する。
論文 参考訳（メタデータ） (2022-01-21T09:51:58Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳（メタデータ） (2021-08-12T09:14:44Z) - Multiple-criteria Based Active Learning with Fixed-size Determinantal
Point Processes [43.71112693633952]
本稿では,情報性,代表性,多様性の3つの相補的基準を取り入れた,複数基準に基づく能動学習アルゴリズムを提案する。
提案手法は,他の複数基準のALアルゴリズムよりも性能が優れ,安定であることを示す。
論文 参考訳（メタデータ） (2021-07-04T13:22:54Z) - Online Coreset Selection for Rehearsal-based Continual Learning [65.85595842458882]
継続的な学習では、後に再生されるトレーニング例(コアセット)のサブセットを格納し、破滅的な忘れを軽減します。
提案するオンラインコアセット選択(OCS, Online Coreset Selection)は, 各イテレーションにおいて最も代表的で情報性の高いコアセットを選択するシンプルで効果的な方法である。
提案手法は,過去のタスクに対して高親和性サンプルを選択しながら,目標データセットへのモデル適応を最大化し,破滅的忘れを直接的に抑制する。
論文 参考訳（メタデータ） (2021-06-02T11:39:25Z) - Industry Scale Semi-Supervised Learning for Natural Language
Understanding [14.844450283047234]
本論文では,学生教師フレームワークに基づく半教師学習(SSL)パイプラインについて述べる。
実運用におけるSSLコンテキストにおけるラベルなしデータの使用に関する2つの質問について検討する。
Pseudo-Label (PL), Knowledge Distillation (KD), Virtual Adversarial Training (VAT), Cross-View Training (CVT)の4つのSSL技術を比較します。
論文 参考訳（メタデータ） (2021-03-29T18:24:02Z) - Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning [54.85397562961903]
ラベル付きデータに制限がある場合に、ラベルなしデータを利用して強力なモデルをトレーニングする半教師付き学習(SSL)が提案されている。
我々は、Open-set SSLと呼ばれるより複雑な新しいシナリオに対処する。
提案手法は,OOD試料の効果を除去し,最先端の結果を得る。
論文 参考訳（メタデータ） (2020-07-22T10:33:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。