論文の概要: Dynamic Sampling and Selective Masking for Communication-Efficient
Federated Learning
- arxiv url: http://arxiv.org/abs/2003.09603v2
- Date: Mon, 20 Sep 2021 18:56:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:05:52.848165
- Title: Dynamic Sampling and Selective Masking for Communication-Efficient
Federated Learning
- Title（参考訳）: コミュニケーション効率のよい連合学習のための動的サンプリングと選択的マスキング
- Authors: Shaoxiong Ji and Wenqi Jiang and Anwar Walid and Xue Li
- Abstract要約: Federated Learning(FL)は、デバイス上のインテリジェンスを分散トレーニングとフェデレーション最適化を通じて実現する、新しい機械学習環境である。
本稿では,動的サンプリングによる通信効率向上のための2つのアプローチと,トップ$k選択マスキングを提案する。
- 参考スコア（独自算出の注目度）: 11.511755449420253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a novel machine learning setting that enables
on-device intelligence via decentralized training and federated optimization.
Deep neural networks' rapid development facilitates the learning techniques for
modeling complex problems and emerges into federated deep learning under the
federated setting. However, the tremendous amount of model parameters burdens
the communication network with a high load of transportation. This paper
introduces two approaches for improving communication efficiency by dynamic
sampling and top-$k$ selective masking. The former controls the fraction of
selected client models dynamically, while the latter selects parameters with
top-$k$ largest values of difference for federated updating. Experiments on
convolutional image classification and recurrent language modeling are
conducted on three public datasets to show our proposed methods' effectiveness.
- Abstract（参考訳）: Federated Learning(FL)は、デバイス上のインテリジェンスを分散トレーニングとフェデレーション最適化を通じて実現する、新しい機械学習環境である。
ディープニューラルネットワークの急速な発展により、複雑な問題をモデリングするための学習技術が促進され、フェデレーション設定下での連合ディープラーニングに出現する。
しかし、モデルパラメータの膨大な量は、通信ネットワークを高い輸送負荷で負担する。
本稿では,動的サンプリングによる通信効率向上のための2つのアプローチと,トップ$k選択マスキングを提案する。
前者は選択したクライアントモデルのパーティションを動的に制御し、後者はフェデレートされた更新のための最大値の値でパラメータを選択する。
提案手法の有効性を示すため,3つの公開データセット上で畳み込み画像分類とリカレント言語モデル実験を行った。
関連論文リスト
- FLoRA: Enhancing Vision-Language Models with Parameter-Efficient Federated Learning [6.648544684097181]
視覚と言語を視覚言語モデル(VLM)に統合するマルチモーダルモデル
本稿では,VLMの学習にフェデレートラーニングとパラメータ効率のよいアダプタを利用する新しい手法を提案する。
我々のアプローチでは、トレーニング時間を最大34.72倍に短縮し、完全な微調整よりも2.47倍のメモリ使用量を必要とする。
論文 参考訳（メタデータ） (2024-04-12T00:36:43Z) - Transfer Learning with Reconstruction Loss [12.906500431427716]
本稿では,モデルに新たな再構築段階を追加することで,新たなモデル学習手法を提案する。
提案手法は、学習した特徴を一般化し、伝達しやすくし、効率的な伝達学習に容易に利用できる。
数値シミュレーションでは、MNIST手書き桁の転送学習、デバイス間無線ネットワークの電力割り当て、複数入出力ネットワークのダウンリンクビームフォーミングとローカライゼーションの3つの応用が研究されている。
論文 参考訳（メタデータ） (2024-03-31T00:22:36Z) - Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。
提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。
視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文 参考訳（メタデータ） (2024-03-18T08:00:23Z) - Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Few-shot learning for automated content analysis: Efficient coding of
arguments and claims in the debate on arms deliveries to Ukraine [0.9576975587953563]
トランスフォーマーニューラルネットワークに基づく事前学習言語モデル(PLM)は、通信科学における自動コンテンツ分析を改善する大きな機会を提供する。
これまでの3つの特徴は、NLP研究における英語モデルの優位性、必要な計算資源、微調整 PLM の訓練データ作成に必要な労力など、適用分野における手法の普及を妨げている。
我々は、われわれのアプローチを、コミュニケーション科学の現実的なユースケースで試し、主張や議論を自動的に検出し、ドイツによるウクライナへの武器の配達に関する議論におけるスタンスと合わせて検証する。
論文 参考訳（メタデータ） (2023-12-28T11:39:08Z) - Personalized Federated Learning with Contextual Modulation and
Meta-Learning [2.7716102039510564]
フェデレーション学習は、分散データソース上で機械学習モデルをトレーニングするための有望なアプローチとして登場した。
本稿では,フェデレートラーニングとメタラーニングを併用して,効率性と一般化能力を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-23T08:18:22Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z) - Real-time Federated Evolutionary Neural Architecture Search [14.099753950531456]
フェデレーション学習(Federated Learning)は、プライバシ保護のための分散機械学習アプローチである。
本稿では、モデル性能を最適化するだけでなく、局所的なペイロードを削減するリアルタイムフェデレーションニューラルネットワーク探索への進化的アプローチを提案する。
このようにして、進化的最適化に必要な計算・通信コストを効果的に削減し、局所モデルの大きな性能変動を回避する。
論文 参考訳（メタデータ） (2020-03-04T17:03:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。