論文の概要: Mobility Improves the Convergence of Asynchronous Federated Learning
- arxiv url: http://arxiv.org/abs/2206.04742v1
- Date: Thu, 9 Jun 2022 19:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-13 15:33:45.574374
- Title: Mobility Improves the Convergence of Asynchronous Federated Learning
- Title(参考訳): 非同期フェデレーション学習の収束性を改善するモビリティ
- Authors: Jieming Bian, Jie Xu
- Abstract要約: FedMobileは、モバイルFLシステムのモビリティ特性を利用して学習性能を向上させる新しい非同期フェデレート学習アルゴリズムである。
我々はFedMobileが$O(frac1sqrtNT)$,$N$がクライアント数,$T$が通信スロット数を達成したことを証明した。
我々は,モビリティのレベルが向上するにつれて,FedMobileを用いて非同期FLがより高速に収束することが示唆された。
- 参考スコア(独自算出の注目度): 4.898506439710683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies asynchronous Federated Learning (FL) subject to clients'
individual arbitrary communication patterns with the parameter server. We
propose FedMobile, a new asynchronous FL algorithm that exploits the mobility
attribute of the mobile FL system to improve the learning performance. The key
idea is to leverage the random client-to-client communication in a mobile
network to create additional indirect communication opportunities with the
server via upload and download relaying. We prove that FedMobile achieves a
convergence rate $O(\frac{1}{\sqrt{NT}})$, where $N$ is the number of clients
and $T$ is the number of communication slots, and show that the optimal design
involves an interesting trade-off on the best timing of relaying. Our analysis
suggests that with an increased level of mobility, asynchronous FL converges
faster using FedMobile. Experiment results on a synthetic dataset and two
real-world datasets verify our theoretical findings.
- Abstract(参考訳): 本稿では,クライアントの任意の通信パターンをパラメータサーバと共有する非同期フェデレーション学習(FL)について検討する。
我々は,モバイルFLシステムの移動特性を利用して学習性能を向上させる非同期FLアルゴリズムであるFedMobileを提案する。
重要なアイデアは、モバイルネットワークにおけるランダムなクライアント間通信を利用して、アップロードとダウンロードのリレーを通じてサーバとの間接的な通信機会を作成することだ。
我々は、feedmobileが$o(\frac{1}{\sqrt{nt}})$(ここで$n$はクライアント数、$t$は通信スロット数)を達成することを証明し、最適な設計は中継の最良のタイミングで興味深いトレードオフを伴うことを示す。
解析により,移動度の向上に伴い,非同期FLはFedMobileにより高速に収束することが示唆された。
実験の結果を合成データセットと実世界の2つのデータセットで検証した。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳(メタデータ) (2023-05-26T19:25:49Z) - Joint Client Assignment and UAV Route Planning for
Indirect-Communication Federated Learning [20.541942109704987]
FedEx (Federated Learning via Model Express Delivery)と呼ばれる新しいフレームワークが提案されている。
UAVのような移動体トランスポーターを使用して、サーバとクライアント間の間接的な通信チャネルを確立する。
FedEx-SyncとFedEx-Asyncという2つのアルゴリズムがトランスポーターレベルで同期および非同期学習のために提案されている。
論文 参考訳(メタデータ) (2023-04-21T04:47:54Z) - Federated Nearest Neighbor Machine Translation [66.8765098651988]
本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。
FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。
実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
論文 参考訳(メタデータ) (2023-02-23T18:04:07Z) - Federated Learning via Indirect Server-Client Communications [20.541942109704987]
Federated Learning(FL)は、コミュニケーション効率とプライバシ保護のための分散機械学習フレームワークである。
本稿では,FedEx という新しい FL フレームワークを提案する。このフレームワークは移動体トランスポーターを用いてサーバとクライアント間の間接的な通信チャネルを確立する。
FedEx-SyncとFedEx-Asyncと呼ばれる2つのアルゴリズムは、トランスポーターが同期または非同期スケジュールを採用するかどうかによって開発される。
論文 参考訳(メタデータ) (2023-02-14T20:12:36Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳(メタデータ) (2022-11-20T06:13:06Z) - FedAR: Activity and Resource-Aware Federated Learning Model for
Distributed Mobile Robots [1.332560004325655]
最近提案されたFederated Learning(FL)と呼ばれる機械学習アルゴリズムは、データのプライバシーを維持する道を開く。
本稿では、クライアントのアクティビティを監視し、利用可能なローカルコンピューティングリソースを活用することでFLモデルを提案する。
このような移動ロボットをFLクライアントとみなして,現実の環境での資源制約された動作を理解する。
論文 参考訳(メタデータ) (2021-01-11T05:27:37Z) - RC-SSFL: Towards Robust and Communication-efficient Semi-supervised
Federated Learning System [25.84191221776459]
Federated Learning(FL)は、新たな分散型人工知能パラダイムである。
現在のシステムは、強い前提に大きく依存している: すべてのクライアントは、豊富な真実をラベル付けしたデータを持っている。
実用的ロバスト・コミュニケーション効率の高い半監視FL(RC-SSFL)システム設計を紹介します。
論文 参考訳(メタデータ) (2020-12-08T14:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。