Fugu-MT 論文翻訳(概要): Enabling On-Device Training of Speech Recognition Models with Federated Dropout

論文の概要: Enabling On-Device Training of Speech Recognition Models with Federated Dropout

arxiv url: http://arxiv.org/abs/2110.03634v1
Date: Thu, 7 Oct 2021 17:22:40 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 15:22:58.187948
Title: Enabling On-Device Training of Speech Recognition Models with Federated Dropout
Title（参考訳）: フェデレーションドロップアウトを用いた音声認識モデルのオンデバイス学習の実現
Authors: Dhruv Guliani and Lillian Zhou and Changwan Ryu and Tien-Ju Yang and Harry Zhang and Yonghui Xiao and Francoise Beaufays and Giovanni Motta
Abstract要約: フェデレーション学習は、デバイスを離れないローカルデータに基づいて、エッジ上の機械学習モデルをトレーニングするために使用することができる。我々は,フルサイズのモデルサーバサイドをトレーニングしながら,クライアントモデルのサイズを減らすために,フェデレートド・ドロップアウト(Federated Dropout)を提案する。
参考スコア（独自算出の注目度）: 4.165917555996752
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning can be used to train machine learning models on the edge on local data that never leave devices, providing privacy by default. This presents a challenge pertaining to the communication and computation costs associated with clients' devices. These costs are strongly correlated with the size of the model being trained, and are significant for state-of-the-art automatic speech recognition models. We propose using federated dropout to reduce the size of client models while training a full-size model server-side. We provide empirical evidence of the effectiveness of federated dropout, and propose a novel approach to vary the dropout rate applied at each layer. Furthermore, we find that federated dropout enables a set of smaller sub-models within the larger model to independently have low word error rates, making it easier to dynamically adjust the size of the model deployed for inference.
Abstract（参考訳）: フェデレーション学習は、デバイスを離れないローカルデータのエッジ上で機械学習モデルをトレーニングするために使用され、デフォルトでプライバシを提供する。これは、クライアントのデバイスに関連する通信コストと計算コストに関する課題である。これらのコストは、トレーニング対象のモデルのサイズと強く関連しており、最先端の自動音声認識モデルにおいて重要である。我々は,フルサイズのモデルサーバサイドをトレーニングしながらクライアントモデルのサイズを減らすために,フェデレーションドロップアウトを使う方法を提案する。我々は,フェデレーションドロップアウトの有効性を示す実証的証拠を提供し,各層に適用されるドロップアウト率を変化させる新しい手法を提案する。さらに、フェデレートされたドロップアウトにより、より大きなモデル内の小さなサブモデルの集合が独立して単語エラー率を低くすることができ、推論のために配置されたモデルのサイズを動的に調整しやすくなる。

関連論文リスト

Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Federated Pruning: Improving Neural Network Efficiency with Federated Learning [24.36174705715827]
フェデレーテッド・プルーニング(Federated Pruning)は、フェデレーテッド・セッティングの下で縮小モデルのトレーニングを行う。異なる刈り取り方式を探索し,提案手法の有効性の実証的証拠を提供する。
論文参考訳（メタデータ） (2022-09-14T00:48:37Z)
Towards Sparsified Federated Neuroimaging Models via Weight Pruning [13.0319103091844]
FedSparsifyは、フェデレートトレーニング中にモデルプルーニングを実行する。性能に影響を与えることなく、95%の間隔でモデルを刈り取ることができることを示す。モデルプルーニングの驚くべきメリットのひとつは、モデルのプライバシを改善することだ。
論文参考訳（メタデータ） (2022-08-24T17:05:47Z)
Federated Learning of Neural ODE Models with Different Iteration Counts [0.9444784653236158]
フェデレーテッド・ラーニング(Federated Learning)とは、クライアントが自身のデータをローカルにトレーニングしてサーバにアップロードする分散機械学習アプローチである。本稿では,ニューラルネットワークをベースとしたモデルを用いてフェデレート学習を行う。我々は,CIFAR-10データセットを用いたベースラインResNetモデルと比較して,通信サイズを最大92.4%削減できることを示す。
論文参考訳（メタデータ） (2022-08-19T17:57:32Z)
Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices [14.604785223644718]
Federated Learning(FL)は、デバイスに分散したデータを使ってモデルをトレーニングするテクニックである。差分プライバシー(DP)は、機密データに対して正式なプライバシー保証を提供する。ペイロードサイズを小さくすることでノイズを低減できる部分埋め込み更新(PEU)を提案する。
論文参考訳（メタデータ） (2022-07-18T23:53:17Z)
No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文参考訳（メタデータ） (2022-02-16T13:03:27Z)
FedLite: A Scalable Approach for Federated Learning on Resource-constrained Clients [41.623518032533035]
スプリットラーニングでは、モデルのごく一部だけがクライアントに格納され、トレーニングされ、残りの部分はサーバに留まる。本稿では,勾配補正法を伴って,新たなクラスタリング方式を用いて付加的な通信を圧縮することにより,この問題に対処する。
論文参考訳（メタデータ） (2022-01-28T00:09:53Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文参考訳（メタデータ） (2020-06-05T07:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。