論文の概要: Dynamic Sampling and Selective Masking for Communication-Efficient
Federated Learning
- arxiv url: http://arxiv.org/abs/2003.09603v2
- Date: Mon, 20 Sep 2021 18:56:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:05:52.848165
- Title: Dynamic Sampling and Selective Masking for Communication-Efficient
Federated Learning
- Title(参考訳): コミュニケーション効率のよい連合学習のための動的サンプリングと選択的マスキング
- Authors: Shaoxiong Ji and Wenqi Jiang and Anwar Walid and Xue Li
- Abstract要約: Federated Learning(FL)は、デバイス上のインテリジェンスを分散トレーニングとフェデレーション最適化を通じて実現する、新しい機械学習環境である。
本稿では,動的サンプリングによる通信効率向上のための2つのアプローチと,トップ$k選択マスキングを提案する。
- 参考スコア(独自算出の注目度): 11.511755449420253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a novel machine learning setting that enables
on-device intelligence via decentralized training and federated optimization.
Deep neural networks' rapid development facilitates the learning techniques for
modeling complex problems and emerges into federated deep learning under the
federated setting. However, the tremendous amount of model parameters burdens
the communication network with a high load of transportation. This paper
introduces two approaches for improving communication efficiency by dynamic
sampling and top-$k$ selective masking. The former controls the fraction of
selected client models dynamically, while the latter selects parameters with
top-$k$ largest values of difference for federated updating. Experiments on
convolutional image classification and recurrent language modeling are
conducted on three public datasets to show our proposed methods' effectiveness.
- Abstract(参考訳): Federated Learning(FL)は、デバイス上のインテリジェンスを分散トレーニングとフェデレーション最適化を通じて実現する、新しい機械学習環境である。
ディープニューラルネットワークの急速な発展により、複雑な問題をモデリングするための学習技術が促進され、フェデレーション設定下での連合ディープラーニングに出現する。
しかし、モデルパラメータの膨大な量は、通信ネットワークを高い輸送負荷で負担する。
本稿では,動的サンプリングによる通信効率向上のための2つのアプローチと,トップ$k選択マスキングを提案する。
前者は選択したクライアントモデルのパーティションを動的に制御し、後者はフェデレートされた更新のための最大値の値でパラメータを選択する。
提案手法の有効性を示すため,3つの公開データセット上で畳み込み画像分類とリカレント言語モデル実験を行った。
関連論文リスト
- Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Few-shot learning for automated content analysis: Efficient coding of
arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。
これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。
我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
論文 参考訳(メタデータ) (2023-12-28T11:39:08Z) - FedMS: Federated Learning with Mixture of Sparsely Activated Foundations
Models [11.362085734837217]
我々はFedMSと呼ばれる新しい2段階のフェデレーション学習アルゴリズムを提案する。
グローバルエキスパートは第一段階で訓練され、ローカルエキスパートは第二段階で訓練され、より良いパーソナライズを提供する。
我々はFedMSの有効性を検証するために広範囲な実験を行い、その結果、FedMSは他のSOTAベースラインを55.25%まで上回る結果となった。
論文 参考訳(メタデータ) (2023-12-26T07:40:26Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-23T08:18:22Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳(メタデータ) (2022-09-26T17:59:58Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳(メタデータ) (2021-11-19T12:58:59Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z) - Real-time Federated Evolutionary Neural Architecture Search [14.099753950531456]
フェデレーション学習(Federated Learning)は、プライバシ保護のための分散機械学習アプローチである。
本稿では、モデル性能を最適化するだけでなく、局所的なペイロードを削減するリアルタイムフェデレーションニューラルネットワーク探索への進化的アプローチを提案する。
このようにして、進化的最適化に必要な計算・通信コストを効果的に削減し、局所モデルの大きな性能変動を回避する。
論文 参考訳(メタデータ) (2020-03-04T17:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。