論文の概要: FedFetch: Faster Federated Learning with Adaptive Downstream Prefetching
- arxiv url: http://arxiv.org/abs/2504.15366v1
- Date: Mon, 21 Apr 2025 18:17:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-01 01:57:51.46956
- Title: FedFetch: Faster Federated Learning with Adaptive Downstream Prefetching
- Title（参考訳）: FedFetch: 適応的な下流プレフェッチによる高速なフェデレーション学習
- Authors: Qifan Yan, Andrew Liu, Shiqi He, Mathias Lécuyer, Ivan Beschastnikh,
- Abstract要約: Federated Learning(FL)は、中央サーバが指示するエッジデバイス上のエンドユーザデータによる大規模分散モデルトレーニングを促進する機械学習パラダイムである。
我々はFedFetchを紹介します。これはクライアントサンプリングと圧縮技術の組み合わせによるダウンロード時間のオーバーヘッドを軽減するための戦略です。
通信効率のよいFL技術にFedFetchを追加することで、エンドツーエンドのトレーニング時間を1.26$times$に、ダウンロード時間を4.49$times$に短縮する。
- 参考スコア（独自算出の注目度）: 7.264549907717153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a machine learning paradigm that facilitates massively distributed model training with end-user data on edge devices directed by a central server. However, the large number of heterogeneous clients in FL deployments leads to a communication bottleneck between the server and the clients. This bottleneck is made worse by straggling clients, any one of which will further slow down training. To tackle these challenges, researchers have proposed techniques like client sampling and update compression. These techniques work well in isolation but combine poorly in the downstream, server-to-client direction. This is because unselected clients have outdated local model states and need to synchronize these states with the server first. We introduce FedFetch, a strategy to mitigate the download time overhead caused by combining client sampling and compression techniques. FedFetch achieves this with an efficient prefetch schedule for clients to prefetch model states multiple rounds before a stated training round. We empirically show that adding FedFetch to communication efficient FL techniques reduces end-to-end training time by 1.26$\times$ and download time by 4.49$\times$ across compression techniques with heterogeneous client settings. Our implementation is available at https://github.com/DistributedML/FedFetch
- Abstract（参考訳）: Federated Learning(FL)は、中央サーバが指示するエッジデバイス上のエンドユーザデータによる大規模分散モデルトレーニングを促進する機械学習パラダイムである。
しかし、FLデプロイメントにおける多数の異種クライアントは、サーバとクライアント間の通信ボトルネックを引き起こします。
このボトルネックは、クライアントを悩ませることによって悪化します。
これらの課題に対処するため、研究者はクライアントサンプリングや更新圧縮といった手法を提案している。
これらのテクニックは独立して動作しますが、下流のサーバからクライアントへの方向ではうまく組み合わせられません。
これは、未選択のクライアントがローカルモデルステートを時代遅れにして、これらのステートを最初にサーバと同期する必要があるためです。
我々はFedFetchを紹介します。これはクライアントサンプリングと圧縮技術の組み合わせによるダウンロード時間のオーバーヘッドを軽減するための戦略です。
FedFetchは、クライアントがトレーニングラウンドの前に複数のラウンドをプリフェッチする効率的なプレフェッチスケジュールでこれを達成します。
通信効率のよいFL技術にFedFetchを追加することで、エンドツーエンドのトレーニング時間を1.26$\times$に、ダウンロード時間を4.49$\times$に短縮する。
私たちの実装はhttps://github.com/DistributedML/FedFetchで利用可能です。
関連論文リスト
- The More is not the Merrier: Investigating the Effect of Client Size on Federated Learning [1.6258045262919332]
共有機械学習モデルをトレーニングしながら、クライアントにデータをローカルに保つ手段として、フェデレートラーニング(FL)が導入されている。
本稿では,FLにおけるクライアント数の影響を探るため,広く使われているFedAvgアルゴリズムに着目した。
本稿では,MEC設定にごく少数の知識クライアントを導入するKCI(Knowledable Client Insertion)という手法を提案する。
論文 参考訳（メタデータ） (2025-04-11T02:01:38Z) - Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。
最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。
Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
論文 参考訳（メタデータ） (2024-05-31T05:21:12Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Adaptive Compression in Federated Learning via Side Information [28.401993810064255]
約$D_KL(q_phi(n) p_theta$ ビットの通信を必要とするフレームワークを提案する。
私たちは、我々のメソッドを既存の圧縮フレームワークに組み込むことで、以前の作業の最大8,2500ドル(約8,500円)の精度で、同じ(そしてしばしば高い)テストの精度を達成することができることを示しています。
論文 参考訳（メタデータ） (2023-06-22T01:29:50Z) - BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。
我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。
BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
論文 参考訳（メタデータ） (2023-01-28T13:34:36Z) - MDA: Availability-Aware Federated Learning Client Selection [1.9422756778075616]
本研究は,多数のクライアントをトレーニングするクロスデバイスFLというFL設定に焦点を当てた。
バニラFLでは、クライアントはランダムに選択されるため、許容できる精度が得られるが、全体的なトレーニング時間の観点からは理想的ではない。
個々のクライアントのリソースと速度を考慮し、トレーニング時間を改善するために、新しいクライアント選択手法が提案されている。
論文 参考訳（メタデータ） (2022-11-25T22:18:24Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Aergia: Leveraging Heterogeneity in Federated Learning Systems [5.0650178943079]
フェデレートラーニング(FL)は、クライアントを頼りに、ローカルデータセットを使用してグローバルモデルを更新する。
Aergiaは、遅いクライアントがトレーニングで最も計算集約的なモデルの一部を凍結する、新しいアプローチである。
AergiaはFedAvgとTiFLと比較して、異種条件下でのトレーニング時間を最大27%と53%と大幅に短縮する。
論文 参考訳（メタデータ） (2022-10-12T12:59:18Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文 参考訳（メタデータ） (2021-10-11T14:45:00Z) - FEDZIP: A Compression Framework for Communication-Efficient Federated
Learning [2.334824705384299]
Federated Learningは、無線デバイスのための分散機械学習の実装である。
各クライアントに独立して学習プロセスを割り当てる。
本稿では,クライアントとサーバ間のディープラーニングモデルから重みを転送しながら,更新サイズを大幅に削減する新しいフレームワークであるFedZipを提案する。
論文 参考訳（メタデータ） (2021-02-02T16:33:44Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。