論文の概要: WavFT: Acoustic model finetuning with labelled and unlabelled data
- arxiv url: http://arxiv.org/abs/2204.00348v1
- Date: Fri, 1 Apr 2022 10:52:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 15:26:00.025142
- Title: WavFT: Acoustic model finetuning with labelled and unlabelled data
- Title（参考訳）: WavFT:ラベリング・アンラベリングデータを用いた音響モデルファインタニング
- Authors: Utkarsh Chauhan, Vikas Joshi, Rupesh R. Mehta
- Abstract要約: ラベル付きおよび非ラベル付きデータを用いた音響モデルファインタニング(FT)を提案する。
FTはセノンを分類する表現を学ぶとともに、文脈音響表現を学ぶために共同で訓練されている。
提案手法は,グジャラート語とベンガル語でそれぞれ11.2%,9.19%の単語誤り率(WERR)を削減した。
- 参考スコア（独自算出の注目度）: 1.4438155481047363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised and self-supervised learning methods have leveraged unlabelled
data to improve the pretrained models. However, these methods need
significantly large amount of unlabelled data and the computational cost of
training models with such large amount of data can be prohibitively high. We
address this issue by using unlabelled data during finetuning, instead of
pretraining. We propose acoustic model finetuning (FT) using labelled and
unlabelled data. The model is jointly trained to learn representations to
classify senones, as well as learn contextual acoustic representations. Our
training objective is a combination of cross entropy loss, suitable for
classification task, and contrastive loss, suitable to learn acoustic
representations. The proposed approach outperforms conventional finetuning with
11.2% and 9.19% word error rate relative (WERR) reduction on Gujarati and
Bengali languages respectively.
- Abstract（参考訳）: 教師なしおよび自己教師付き学習手法は、事前訓練されたモデルを改善するために、未学習のデータを活用する。
しかし,これらの手法は大量の未ラベルデータを必要としており,そのような大量のデータを持つ訓練モデルの計算コストは禁断的に高い。
私たちは、事前トレーニングではなく、微調整中にラベルなしのデータを使用することでこの問題に対処します。
ラベル付きおよび非ラベル付きデータを用いた音響モデルファインタニング(FT)を提案する。
このモデルはセノンを分類する表現を学ぶために共同で訓練され、文脈音響表現を学ぶ。
本研究の目的は,音響表現の学習に適した分類タスクに適したクロスエントロピー損失と,コントラスト損失の組み合わせである。
提案手法は,グジャラート語とベンガル語でそれぞれ11.2%,9.19%の単語誤り率(WERR)を削減した。
関連論文リスト
- Boosting Semi-Supervised Learning by bridging high and low-confidence
predictions [4.18804572788063]
Pseudo-labelingは半教師あり学習(SSL)において重要な技術である
ReFixMatchと呼ばれる新しい手法を提案し、これはトレーニング中にラベルなしのデータをすべて活用することを目的としている。
論文 参考訳（メタデータ） (2023-08-15T00:27:18Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳（メタデータ） (2022-12-20T18:58:33Z) - Boosting Facial Expression Recognition by A Semi-Supervised Progressive
Teacher [54.50747989860957]
本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。
RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-05-28T07:47:53Z) - One-Pixel Shortcut: on the Learning Preference of Deep Neural Networks [28.502489028888608]
Unlearnable Example (ULE) は、DNNのトレーニングのための不正使用からデータを保護することを目的としている。
逆行訓練では、誤り最小化ノイズの非学習性は著しく低下する。
本稿では,各画像の1ピクセルのみを摂動させ,データセットを学習不能にする,新しいモデルフリー手法であるemphOne-Pixel Shortcutを提案する。
論文 参考訳（メタデータ） (2022-05-24T15:17:52Z) - ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。
本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。
実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文 参考訳（メタデータ） (2022-05-21T11:52:08Z) - Robust Training under Label Noise by Over-parameterization [41.03008228953627]
本稿では,トレーニングラベルの比率が低下した分類タスクにおいて,過パラメータ化深層ネットワークの堅牢なトレーニングを行うための原則的手法を提案する。
ラベルノイズはクリーンデータから学んだネットワークと疎結合なので、ノイズをモデル化してデータから分離することを学びます。
注目すべきは、このような単純な手法を用いて訓練を行う場合、様々な実データに対してラベルノイズに対する最先端のテスト精度を示すことである。
論文 参考訳（メタデータ） (2022-02-28T18:50:10Z) - Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。
提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
論文 参考訳（メタデータ） (2021-09-01T23:52:29Z) - Self-Tuning for Data-Efficient Deep Learning [75.34320911480008]
セルフチューニングは、データ効率のよいディープラーニングを可能にする新しいアプローチである。
ラベル付きおよびラベルなしデータの探索と事前訓練されたモデルの転送を統一する。
SSLとTLの5つのタスクをシャープなマージンで上回ります。
論文 参考訳（メタデータ） (2021-02-25T14:56:19Z) - Self-Adaptive Training: beyond Empirical Risk Minimization [15.59721834388181]
余分な計算コストを伴わずにモデル予測により問題ラベルを動的に補正する新しいトレーニングアルゴリズムを提案する。
自己適応型トレーニングは、様々なレベルのノイズに対する一般化を著しく改善し、自然と敵対両方のトレーニングにおいて過度に適合する問題を緩和する。
CIFARとImageNetデータセットの実験は、我々のアプローチの有効性を2つのアプリケーションで検証する。
論文 参考訳（メタデータ） (2020-02-24T15:47:10Z) - Learning with Out-of-Distribution Data for Audio Classification [60.48251022280506]
我々は,OODインスタンスを破棄するよりも,特定のOODインスタンスを検出・復号化することで,学習に肯定的な影響を及ぼすことを示す。
提案手法は,畳み込みニューラルネットワークの性能を著しく向上させる。
論文 参考訳（メタデータ） (2020-02-11T21:08:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。