論文の概要: Federated Self-Training for Semi-Supervised Audio Recognition
- arxiv url: http://arxiv.org/abs/2107.06877v1
- Date: Wed, 14 Jul 2021 17:40:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-15 14:05:51.824562
- Title: Federated Self-Training for Semi-Supervised Audio Recognition
- Title（参考訳）: 半監督型音声認識のためのフェデレーション自己学習
- Authors: Vasileios Tsouvalas, Aaqib Saeed, Tanir Ozcelebi
- Abstract要約: 本研究では,自己学習による音声モデルの半教師あり学習の問題について検討する。
我々はFedSTARを提案し、大規模なデバイス上での未ラベルデータを利用して音声認識モデルの一般化を改善する。
- 参考スコア（独自算出の注目度）: 0.23633885460047763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning is a distributed machine learning paradigm dealing with
decentralized and personal datasets. Since data reside on devices like
smartphones and virtual assistants, labeling is entrusted to the clients, or
labels are extracted in an automated way. Specifically, in the case of audio
data, acquiring semantic annotations can be prohibitively expensive and
time-consuming. As a result, an abundance of audio data remains unlabeled and
unexploited on users' devices. Most existing federated learning approaches
focus on supervised learning without harnessing the unlabeled data. In this
work, we study the problem of semi-supervised learning of audio models via
self-training in conjunction with federated learning. We propose FedSTAR to
exploit large-scale on-device unlabeled data to improve the generalization of
audio recognition models. We further demonstrate that self-supervised
pre-trained models can accelerate the training of on-device models,
significantly improving convergence to within fewer training rounds. We conduct
experiments on diverse public audio classification datasets and investigate the
performance of our models under varying percentages of labeled and unlabeled
data. Notably, we show that with as little as 3% labeled data available,
FedSTAR on average can improve the recognition rate by 13.28% compared to the
fully supervised federated model.
- Abstract（参考訳）: Federated Learningは分散機械学習のパラダイムであり、分散化された個人データセットを扱う。
データはスマートフォンや仮想アシスタントなどのデバイス上に存在するため、クライアントにラベル付けを委託するか、ラベルを自動抽出する。
具体的には、オーディオデータの場合、意味的アノテーションの取得は、非常に高価で時間がかかります。
結果として、大量のオーディオデータがユーザのデバイスにラベルがなく、未公開のままである。
既存の連合学習のアプローチのほとんどは、ラベルのないデータを使わずに教師あり学習にフォーカスしている。
本研究では,フェデレーション学習と連動して,自己学習による音声モデルの半教師付き学習の問題について検討する。
そこで本研究では,feedstarの大規模オンデバイス非ラベルデータを活用した音声認識モデルの一般化を提案する。
さらに,自己教師付き事前学習モデルがオンデバイスモデルのトレーニングを加速し,少ないトレーニングラウンドでの収束性を大幅に改善できることを実証する。
各種公開音声分類データセットの実験を行い、ラベル付きおよびラベルなしデータの異なるパーセンテージでモデルの性能について検討する。
特に,ラベル付きデータの利用頻度が3%未満のFedSTARは,完全に管理されたフェデレーションモデルと比較して,認識率を13.28%向上させることができる。
関連論文リスト
- Incremental Self-training for Semi-supervised Learning [56.57057576885672]
ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。
提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
論文 参考訳（メタデータ） (2024-04-14T05:02:00Z) - Federated Representation Learning for Automatic Speech Recognition [20.641076546330986]
Federated Learning(FL)はプライバシ保護のパラダイムであり、エッジデバイスがデータを共有せずに協調的に学習できるようにする。
我々は、データのプライバシー制約に配慮した自動音声認識のための表現を学習するために、自己教師付き学習(SSL)とFLをまとめる。
FL における事前学習型 ASR エンコーダは,中心的な事前学習モデルと同様に動作し,事前学習に比べて 12-15% (WER) の改善が得られた。
論文 参考訳（メタデータ） (2023-08-03T20:08:23Z) - On-the-fly Denoising for Data Augmentation in Natural Language
Understanding [101.46848743193358]
よりクリーンなオリジナルデータに基づいて訓練された有機教師モデルによって提供されるソフトな拡張ラベルから学習する,データ拡張のためのオンザフライデノケーション手法を提案する。
本手法は,一般的な拡張手法に適用でき,テキスト分類と質問応答の両タスクの性能を一貫して向上させることができる。
論文 参考訳（メタデータ） (2022-12-20T18:58:33Z) - Federated Self-Supervised Learning in Heterogeneous Settings: Limits of
a Baseline Approach on HAR [0.5039813366558306]
我々は,標準軽量オートエンコーダと標準フェデレーション平均化が,人間の活動認識の堅牢な表現を学習できないことを示す。
これらの知見は、フェデレーション・セルフ・スーパーバイザード・ラーニングにおけるより集中的な研究努力を提唱している。
論文 参考訳（メタデータ） (2022-07-17T14:15:45Z) - Label-Efficient Self-Supervised Speaker Verification With Information
Maximization and Contrastive Learning [0.0]
生音声から直接表現を学習することによる話者検証のための自己教師型学習について検討する。
我々のアプローチは、最近の情報学習フレームワークと集中的なデータ前処理ステップに基づいています。
論文 参考訳（メタデータ） (2022-07-12T13:01:55Z) - FedNST: Federated Noisy Student Training for Automatic Speech
Recognition [8.277567852741242]
Federated Learning (FL)は、分散システムのユーザデバイス(クライアント)上で、最先端の自動音声認識(ASR)モデルをトレーニングすることを可能にする。
FL for ASRの実践的な採用に直面している主な課題は、クライアントの地味なラベルを取得することである。
有望な代替手段は、セミ/セルフ教師付き学習アプローチを使用して、問題のないユーザデータを活用することだ。
論文 参考訳（メタデータ） (2022-06-06T16:18:45Z) - Boosting Facial Expression Recognition by A Semi-Supervised Progressive
Teacher [54.50747989860957]
本稿では,信頼度の高いFERデータセットと大規模未ラベル表現画像を有効訓練に用いるための半教師付き学習アルゴリズム,Progressive Teacher (PT)を提案する。
RAF-DB と FERPlus を用いた実験により,RAF-DB で89.57% の精度で最先端の性能を実現する手法の有効性が検証された。
論文 参考訳（メタデータ） (2022-05-28T07:47:53Z) - Distantly-Supervised Named Entity Recognition with Noise-Robust Learning
and Language Model Augmented Self-Training [66.80558875393565]
遠距離ラベル付きデータのみを用いて、名前付きエンティティ認識(NER)モデルを訓練する際の課題について検討する。
本稿では,新しい損失関数と雑音ラベル除去ステップからなるノイズロスバスト学習手法を提案する。
提案手法は,既存の遠隔教師付きNERモデルよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2021-09-10T17:19:56Z) - Federated Self-Supervised Learning of Multi-Sensor Representations for
Embedded Intelligence [8.110949636804772]
スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。
本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。
さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2020-07-25T21:59:17Z) - Uncertainty-aware Self-training for Text Classification with Few Labels [54.13279574908808]
本研究は,アノテーションのボトルネックを軽減するための半教師あり学習手法の1つとして,自己学習について研究する。
本稿では,基礎となるニューラルネットワークの不確実性推定を取り入れて,自己学習を改善する手法を提案する。
本手法では,クラス毎に20～30個のラベル付きサンプルをトレーニングに利用し,完全教師付き事前学習言語モデルの3%以内で検証を行う。
論文 参考訳（メタデータ） (2020-06-27T08:13:58Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。