論文の概要: Optimising Communication Overhead in Federated Learning Using NSGA-II
- arxiv url: http://arxiv.org/abs/2204.02183v1
- Date: Fri, 1 Apr 2022 18:06:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-06 12:55:54.778526
- Title: Optimising Communication Overhead in Federated Learning Using NSGA-II
- Title（参考訳）: NSGA-IIを用いたフェデレーション学習におけるコミュニケーションオーバヘッドの最適化
- Authors: Jos\'e \'Angel Morell and Zakaria Abdelmoiz Dahi and Francisco Chicano
and Gabriel Luque and Enrique Alba
- Abstract要約: 本研究の目的は、(I)多目的問題としてモデル化し、(II)多目的最適化アルゴリズム(NSGA-II)を適用して、連合学習における通信オーバーヘッドを最適化することである。
実験の結果,提案手法は,100%通信を使用するFedAvgアルゴリズムと同等の精度で通信を99%削減できることがわかった。
- 参考スコア（独自算出の注目度）: 6.635754265968436
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated learning is a training paradigm according to which a server-based
model is cooperatively trained using local models running on edge devices and
ensuring data privacy. These devices exchange information that induces a
substantial communication load, which jeopardises the functioning efficiency.
The difficulty of reducing this overhead stands in achieving this without
decreasing the model's efficiency (contradictory relation). To do so, many
works investigated the compression of the pre/mid/post-trained models and the
communication rounds, separately, although they jointly contribute to the
communication overload. Our work aims at optimising communication overhead in
federated learning by (I) modelling it as a multi-objective problem and (II)
applying a multi-objective optimization algorithm (NSGA-II) to solve it. To the
best of the author's knowledge, this is the first work that \texttt{(I)}
explores the add-in that evolutionary computation could bring for solving such
a problem, and \texttt{(II)} considers both the neuron and devices features
together. We perform the experimentation by simulating a server/client
architecture with 4 slaves. We investigate both convolutional and
fully-connected neural networks with 12 and 3 layers, 887,530 and 33,400
weights, respectively. We conducted the validation on the \texttt{MNIST}
dataset containing 70,000 images. The experiments have shown that our proposal
could reduce communication by 99% and maintain an accuracy equal to the one
obtained by the FedAvg Algorithm that uses 100% of communications.
- Abstract（参考訳）: フェデレーション学習(federated learning)は、エッジデバイス上で動作し、データのプライバシを確保するローカルモデルを使用して、サーバベースのモデルを協調的にトレーニングするトレーニングパラダイムである。
これらの装置は、かなりの通信負荷を引き起こす情報を交換し、機能効率を損なう。
このオーバーヘッドを減らすことの難しさは、モデルの効率(矛盾関係)を下げることなくこれを達成することである。
そのために、プリ/mid/ポストトレーニングモデルと通信ラウンドの圧縮を別々に調査した。
本研究の目的は、(I)多目的問題としてモデル化し、(II)多目的最適化アルゴリズム(NSGA-II)を適用してそれを解決することである。
著者の知識を最大限に活用するために、これは進化的計算がそのような問題を解決するためのアドインを探究する最初の研究であり、そして \texttt{(II)} はニューロンとデバイスの両方の特徴を一緒に考える。
サーバ/クライアントアーキテクチャを4つのスレーブでシミュレートして実験を行う。
12層, 3層, 887,530層, 33,400層からなる畳み込みニューラルネットワークと完全連結ニューラルネットワークをそれぞれ検討した。
7万枚の画像を含むtexttt{MNIST}データセットの検証を行った。
実験により,提案手法は通信を99%削減し,100%の通信を使用するfedavgアルゴリズムで得られた通信と同等の精度を維持できることが示された。
関連論文リスト
- Asynchronous Local Computations in Distributed Bayesian Learning [8.516532665507835]
本稿では,高速な計算と通信オーバヘッドを同時に低減するために,ゴシップに基づく通信を提案する。
我々は、特に低データ範囲において、より高速な初期収束と性能精度の向上を観察する。
UCI MLレポジトリのガンマ望遠鏡とmHealthデータセットで,それぞれ平均78%,90%以上の分類精度を達成した。
論文 参考訳（メタデータ） (2023-11-06T20:11:41Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Personalized Decentralized Multi-Task Learning Over Dynamic
Communication Graphs [59.96266198512243]
本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。
本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。
合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-12-21T18:58:24Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - ESAI: Efficient Split Artificial Intelligence via Early Exiting Using
Neural Architecture Search [6.316693022958222]
ディープニューラルネットワークは、多くのコンピュータビジョン関連タスクにおいて、従来の機械学習アルゴリズムよりも優れています。
大部分のデバイスは、優れたディープラーニングモデルがサーバー上のデータを解析する責任を負う、クラウドコンピューティングの方法論を活用しています。
本稿では、クラウドとオンデバイスモデルの両方を活用可能な、IoTデバイスにデプロイするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T04:47:53Z) - Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。
提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。
2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-12-23T09:33:11Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳（メタデータ） (2020-11-14T06:52:02Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳（メタデータ） (2020-10-18T01:44:42Z) - CLAN: Continuous Learning using Asynchronous Neuroevolution on Commodity
Edge Devices [3.812706195714961]
我々は、NeuroEvolutionary(NE)学習と推論を実行するWiFiを介して通信するRaspberry Piのプロトタイプシステムを構築した。
本研究では,このような協調システムの性能を評価し,システムの異なる配置の計算/通信特性について詳述する。
論文 参考訳（メタデータ） (2020-08-27T01:49:21Z) - Consensus Driven Learning [0.0]
本稿では,信頼できないネットワーク上での非同期更新を用いて,ノードのネットワークがトレーニングを調整できる分散分散型学習手法を提案する。
これは、様々なノードを調整するために、分散平均コンセンサスアルゴリズムからインスピレーションを得て達成される。
この調整手法により,高度に偏りのあるデータセットや間欠的な通信障害の存在下でモデルを学習できることを示す。
論文 参考訳（メタデータ） (2020-05-20T18:24:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。