Fugu-MT 論文翻訳(概要): Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework

論文の概要: Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework

arxiv url: http://arxiv.org/abs/2010.15965v2
Date: Fri, 14 May 2021 18:49:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-01 23:57:08.108416
Title: Training Speech Recognition Models with Federated Learning: A Quality/Cost Framework
Title（参考訳）: フェデレーション学習による音声認識モデルの訓練:品質/コストフレームワーク
Authors: Dhruv Guliani, Francoise Beaufays, Giovanni Motta
Abstract要約: 本稿では,分散型オンデバイス学習パラダイムであるフェデレーション学習を用いて音声認識モデルの訓練を行う。ユーザ毎のトレーニングのエポックスを実行することで、フェデレートされた学習は、非IIDデータ分散を扱うコストを発生させる必要がある。
参考スコア（独自算出の注目度）: 4.125187280299247
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose using federated learning, a decentralized on-device learning paradigm, to train speech recognition models. By performing epochs of training on a per-user basis, federated learning must incur the cost of dealing with non-IID data distributions, which are expected to negatively affect the quality of the trained model. We propose a framework by which the degree of non-IID-ness can be varied, consequently illustrating a trade-off between model quality and the computational cost of federated training, which we capture through a novel metric. Finally, we demonstrate that hyper-parameter optimization and appropriate use of variational noise are sufficient to compensate for the quality impact of non-IID distributions, while decreasing the cost.
Abstract（参考訳）: 本稿では,デバイス上分散学習パラダイムであるフェデレーション学習を用いた音声認識モデルの学習を提案する。ユーザ毎のトレーニングのエポックを実行することによって、フェデレーション学習は、トレーニングモデルの品質に悪影響を及ぼすと思われる非iidデータ分布を扱うコストを負わなければなりません。本研究では,非アイドネスの程度を変化させる枠組みを提案する。その結果,モデル品質とフェデレーショントレーニングの計算コストとのトレードオフが示され,新たな指標を用いて捉える。最後に,超パラメータ最適化と変動雑音の適切な利用により,非iid分布の品質への影響を補償し,コストを低減できることを示す。

関連論文リスト

Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
論文参考訳（メタデータ） (2024-03-05T09:18:29Z)
Dependable Distributed Training of Compressed Machine Learning Models [16.403297089086042]
信頼性のある学習オーケストレーションのためのフレームワークであるDepLを提案する。 i) 学習に活用するデータ、(ii) 使用するモデルと、それらに切り替えるタイミング、(iii) ノードのクラスタとそのリソースについて、高品質で効率的な決定を行う。 DepLの競合比と複雑性は一定であり、最先端技術よりも27%以上向上していることを示す。
論文参考訳（メタデータ） (2024-02-22T07:24:26Z)
Federated Learning While Providing Model as a Service: Joint Training and Inference Optimization [30.305956110710266]
フェデレーション学習は、分散クライアント間のモデルのトレーニングを可能にする上で有益である。既存の作業は、クライアントの限られたリソースの下でのモデルトレーニングと推論の共存を見落としている。本稿では,クライアントにおける推論性能を最大化するために,モデルトレーニングと推論の協調最適化に焦点を当てる。
論文参考訳（メタデータ） (2023-12-20T09:27:09Z)
Digital Twin-Assisted Knowledge Distillation Framework for Heterogeneous Federated Learning [14.003355837801879]
連合学習のための知識蒸留(KD)駆動学習フレームワークを提案する。各ユーザは、オンデマンドでニューラルネットワークモデルを選択し、独自のプライベートデータセットを使用して、大きな教師モデルから知識を抽出することができる。デジタルツイン(DT)は、コンピュータリソースが十分あるサーバ内のDTで教師モデルをトレーニングする方法である。
論文参考訳（メタデータ） (2023-03-10T15:14:24Z)
Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文参考訳（メタデータ） (2022-12-14T17:34:11Z)
FairIF: Boosting Fairness in Deep Learning via Influence Functions with Validation Set Sensitive Attributes [51.02407217197623]
本稿では,FAIRIFという2段階の学習アルゴリズムを提案する。サンプル重みが計算される再重み付きデータセットの損失を最小限に抑える。 FAIRIFは、様々な種類のバイアスに対して、フェアネスとユーティリティのトレードオフを良くしたモデルが得られることを示す。
論文参考訳（メタデータ） (2022-01-15T05:14:48Z)
NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文参考訳（メタデータ） (2021-08-29T06:58:28Z)
Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文参考訳（メタデータ） (2021-02-07T17:56:50Z)
Unsupervised neural adaptation model based on optimal transport for spoken language identification [54.96267179988487]
トレーニングセットとテストセット間の音響音声の統計的分布のミスマッチにより,音声言語識別(SLID)の性能が大幅に低下する可能性がある。 SLIDの分布ミスマッチ問題に対処するために,教師なしニューラル適応モデルを提案する。
論文参考訳（メタデータ） (2020-12-24T07:37:19Z)
Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文参考訳（メタデータ） (2020-06-12T12:23:50Z)
Training Keyword Spotting Models on Non-IID Data with Federated Learning [6.784774147680782]
そこで本研究では,フェデレート学習を用いて,高品質なキーワードスポッティングモデルをデバイス上でトレーニング可能であることを示す。デバイス上のデータの適合に関するアルゴリズム上の制約を克服するため、最適化アルゴリズムの徹底的な実験研究を行う。教師と学生のトレーニングを調査するために、サンプル(デバイス上のデータにゼロ可視性を持たせること)をラベル付けします。
論文参考訳（メタデータ） (2020-05-21T00:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。