論文の概要: $r$Age-$k$: Communication-Efficient Federated Learning Using Age Factor
- arxiv url: http://arxiv.org/abs/2410.22192v1
- Date: Tue, 29 Oct 2024 16:30:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:41:19.557066
- Title: $r$Age-$k$: Communication-Efficient Federated Learning Using Age Factor
- Title（参考訳）: $r$Age-$k$:年齢因子を用いたコミュニケーション効率の高いフェデレーションラーニング
- Authors: Matin Mortaheb, Priyanka Kaswan, Sennur Ulukus,
- Abstract要約: Federated Learning(FL)は、パラメータサーバ(PS)によって調整された複数のクライアントが統合された機械学習モデルをトレーニングする、協調的なアプローチである。
本稿では,FLの2つの制限に対処するために,情報量測定の年齢を用いた新しい通信効率アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 31.285983939625098
- License:
- Abstract: Federated learning (FL) is a collaborative approach where multiple clients, coordinated by a parameter server (PS), train a unified machine-learning model. The approach, however, suffers from two key challenges: data heterogeneity and communication overhead. Data heterogeneity refers to inconsistencies in model training arising from heterogeneous data at different clients. Communication overhead arises from the large volumes of parameter updates exchanged between the PS and clients. Existing solutions typically address these challenges separately. This paper introduces a new communication-efficient algorithm that uses the age of information metric to simultaneously tackle both limitations of FL. We introduce age vectors at the PS, which keep track of how often the different model parameters are updated from the clients. The PS uses this to selectively request updates for specific gradient indices from each client. Further, the PS employs age vectors to identify clients with statistically similar data and group them into clusters. The PS combines the age vectors of the clustered clients to efficiently coordinate gradient index updates among clients within a cluster. We evaluate our approach using the MNIST and CIFAR10 datasets in highly non-i.i.d. settings. The experimental results show that our proposed method can expedite training, surpassing other communication-efficient strategies in efficiency.
- Abstract（参考訳）: Federated Learning(FL)は、パラメータサーバ(PS)によって調整された複数のクライアントが統合された機械学習モデルをトレーニングする、協調的なアプローチである。
しかしこのアプローチには,データの不均一性と通信オーバーヘッドという,2つの大きな課題がある。
データ不均一性(Data heterogeneity)とは、異なるクライアントにおける異種データから生じるモデルトレーニングの不整合を指す。
通信オーバーヘッドは、PSとクライアントの間で交換される大量のパラメータ更新から生じる。
既存のソリューションは通常、これらの課題に別々に対処する。
本稿では,FLの2つの制約に同時に対処するために,情報量測定の年齢を用いた新しい通信効率アルゴリズムを提案する。
我々はPSに年齢ベクトルを導入し、異なるモデルパラメータがクライアントから更新される頻度を追跡する。
PSはこの方法を使用して、各クライアントから特定の勾配インデックスの更新を選択的に要求する。
さらに、PSは年齢ベクトルを用いて統計的に類似したデータをクライアントを特定し、それらをクラスタにグループ化する。
PSはクラスタ化されたクライアントの年齢ベクトルを組み合わせて、クラスタ内のクライアント間の勾配インデックス更新を効率的に調整する。
MNIST と CIFAR10 のデータセットを高度に非i.d.設定で評価する。
実験の結果,提案手法は,他の通信効率向上戦略を超越して,訓練を迅速化することができることがわかった。
関連論文リスト
- A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。
本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。
この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
論文 参考訳（メタデータ） (2024-10-20T19:11:24Z) - Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning [14.866327821524854]
HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HiCS-FLは最先端のFLクライアント選択方式よりも高速な収束を実現する。
論文 参考訳（メタデータ） (2023-09-30T00:29:30Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。
本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-22T04:06:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated learning with incremental clustering for heterogeneous data [0.0]
以前のアプローチでは、クライアントをクラスタ化するには、サーバはクライアントにパラメータを同時に送信する必要がある。
本稿では,FLIC(Federated Learning with Incremental Clustering)を提案する。
我々は,この手法がクライアントを同じデータ分布に従うグループに分割することに成功していることを実証的に示す。
論文 参考訳（メタデータ） (2022-06-17T13:13:03Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z) - Timely Communication in Federated Learning [65.1253801733098]
我々は,パラメータサーバ(PS)が,クラウドサーバにクライアントデータを集中的に格納することなく,$n$クライアントを用いてグローバルモデルを訓練するグローバルラーニングフレームワークを検討する。
提案されたスキームでは、各イテレーションでPSは$m$のクライアントを待ち、現在のモデルを送信する。
各クライアントが経験する情報の平均年齢を見つけ、与えられた$n$の年齢最適値である$m$と$k$を数値的に特徴付ける。
論文 参考訳（メタデータ） (2020-12-31T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。