論文の概要: FedNST: Federated Noisy Student Training for Automatic Speech Recognition

• arxiv url: http://arxiv.org/abs/2206.02797v1
• Date: Mon, 6 Jun 2022 16:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 09:58:47.068352
• Title: FedNST: Federated Noisy Student Training for Automatic Speech Recognition
• Title（参考訳）: FedNST: 音声認識のためのフェデレーションノイズ学習
• Authors: Haaris Mehmood, Agnieszka Dobrowolska, Karthikeyan Saravanan, Mete Ozay
• Abstract要約: Federated Learning (FL)は、分散システムのユーザデバイス(クライアント)上で、最先端の自動音声認識(ASR)モデルをトレーニングすることを可能にする。 FL for ASRの実践的な採用に直面している主な課題は、クライアントの地味なラベルを取得することである。 有望な代替手段は、セミ/セルフ教師付き学習アプローチを使用して、問題のないユーザデータを活用することだ。
• 参考スコア（独自算出の注目度）: 8.277567852741242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables training state-of-the-art Automatic Speech Recognition (ASR) models on user devices (clients) in distributed systems, hence preventing transmission of raw user data to a central server. A key challenge facing practical adoption of FL for ASR is obtaining ground-truth labels on the clients. Existing approaches rely on clients to manually transcribe their speech, which is impractical for obtaining large training corpora. A promising alternative is using semi-/self-supervised learning approaches to leverage unlabelled user data. To this end, we propose a new Federated ASR method called FedNST for noisy student training of distributed ASR models with private unlabelled user data. We explore various facets of FedNST , such as training models with different proportions of unlabelled and labelled data, and evaluate the proposed approach on 1173 simulated clients. Evaluating FedNST on LibriSpeech, where 960 hours of speech data is split equally into server (labelled) and client (unlabelled) data, showed a 22.5% relative word error rate reduction (WERR) over a supervised baseline trained only on server data.
• Abstract（参考訳）: federated learning(fl)は、分散システムのユーザデバイス(クライアント)上で、最先端の自動音声認識(asr)モデルをトレーニングすることを可能にする。 FL for ASRの実践的な採用に直面している重要な課題は、クライアントの地味なラベルを取得することだ。 既存のアプローチでは、クライアントが音声を手作業で書き起こしているため、大規模なトレーニングコーパスを得ることは現実的ではない。 有望な代替手段は、セミ/セルフ教師付き学習アプローチを使用して、問題のないユーザデータを活用することだ。 そこで本研究では,非ラベルユーザデータを用いた分散asrモデルの雑音学習のためのフェデレートasr手法fenstを提案する。 非ラベルデータとラベル付きデータの比率の異なるトレーニングモデルなど、fennstのさまざまな側面を調査し、1173のシミュレーションクライアントに対して提案手法を評価した。 LibriSpeech上でのFedNSTの評価では、960時間の音声データがサーバ(labelled)データとクライアント(labelled)データに等しく分割され、サーバデータのみに基づいてトレーニングされた教師付きベースラインに対して22.5%の相対的な単語エラー率削減(WERR)が示された。

関連論文リスト

• (FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning [4.803231218533992]
  Federated Learning(FL)は、クライアントのプライバシに敏感なデータを保存しながら、正確なグローバルモデルをトレーニングする分散機械学習フレームワークである。 ほとんどのFLアプローチは、クライアントがラベル付きデータを持っていると仮定するが、実際にはそうではないことが多い。 本稿では、シャープネスを意識した整合性正規化を用いたラベルなしクライアントのための堅牢なトレーニング手法である$(FL)2$を提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:15:02Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model [32.094290282897894]
  フェデレートラーニングは、物理的に孤立したクライアントから、ユーザのデータのプライバシを保護しながら、集合モデルをトレーニングすることを目的としている。 本稿では,各クライアントのラベルのないデータを活用して,軽量なモデルトレーニングとコミュニケーションを行う,軽量な非教師付きフェデレーション学習手法を提案する。 提案手法は,CLIPのゼロショット予測と比較してモデル性能を大幅に向上させるとともに,教師付きフェデレーション学習ベンチマーク手法よりも優れる。
  論文  参考訳（メタデータ） (2024-04-17T03:42:48Z)
• Navigating Data Heterogeneity in Federated Learning A Semi-Supervised Federated Object Detection [3.7398615061365206]
  フェデレートラーニング(FL)は、分散データソース間でモデルをトレーニングするための強力なフレームワークとして登場した。 特に自動運転のようなアプリケーションでは、高品質なラベルや、IID以外のクライアントデータに制限がある。 クライアントがラベル付きデータを持っている間、ラベル付きデータがサーバにのみ存在するシナリオ用に設計された、先駆的なSSFODフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-26T01:40:28Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings [56.93025161787725]
  Federated Learning(FL)は、クライアントをコーディネートして、ローカルデータを共有せずにモデルを協調的にトレーニングする分散機械学習パラダイムである。 本稿では,共有勾配やモデルパラメータからクライアントの機密属性情報を推測する属性推論攻撃フレームワークを提案する。 FLを用いて学習したSERシステムに対して,属性推論攻撃が達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-12-26T16:50:42Z)
• Federated Self-Training for Semi-Supervised Audio Recognition [0.23633885460047763]
  本研究では,自己学習による音声モデルの半教師あり学習の問題について検討する。 我々はFedSTARを提案し、大規模なデバイス上での未ラベルデータを利用して音声認識モデルの一般化を改善する。
  論文  参考訳（メタデータ） (2021-07-14T17:40:10Z)
• Separate but Together: Unsupervised Federated Learning for Speech Enhancement from Non-IID Data [27.51123821674191]
  音声強調と分離のための非教師付きフェデレーション学習(FL)アプローチであるFEDENHANCEを提案する。 我々は、各クライアントが限られた数の話者からのノイズの多い録音へのアクセスしかできない現実のシナリオをシミュレートする。 実験の結果,本手法は単一デバイス上での iid トレーニングと比較して,競合強化性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-05-11T00:47:18Z)
• Federated Learning of User Authentication Models [69.93965074814292]
  機械学習モデルのプライバシー保護のためのフレームワークであるFederated User Authentication (FedUA)を提案する。 FedUAは、フェデレートされた学習フレームワークを採用して、ユーザが生の入力を共有することなく、共同でモデルをトレーニングできるようにする。 提案手法はプライバシ保護であり,多数のユーザに対してスケーラブルであることを示し,出力層を変更することなく,新たなユーザをトレーニングに追加できるようにした。
  論文  参考訳（メタデータ） (2020-07-09T08:04:38Z)
• Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
  本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。 本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。 本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
  論文  参考訳（メタデータ） (2020-06-27T08:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。