論文の概要: Decentralized Federated Learning with Model Caching on Mobile Agents
- arxiv url: http://arxiv.org/abs/2408.14001v2
- Date: Tue, 04 Feb 2025 17:14:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 14:53:50.853934
- Title: Decentralized Federated Learning with Model Caching on Mobile Agents
- Title（参考訳）: 移動エージェントを用いたモデルキャッシングによる分散フェデレーション学習
- Authors: Xiaoyu Wang, Guojun Xiong, Houwei Cao, Jian Li, Yong Liu,
- Abstract要約: フェデレートラーニング(FL)は、中央サーバーで調整された分散エージェントにデータと計算能力を使って共有モデルを訓練する。
分散FL(DFL)は、エージェント間のローカルモデル交換とアグリゲーションを利用して、中央サーバ上の通信オーバーヘッドを低減する。
本稿では,モバイルエージェント上でのモデルキャッシングによって実現される遅延耐性モデルの普及とアグリゲーションを検討するために,キャッシュ型分散フェデレートラーニング(Cached-DFL)を提案する。
- 参考スコア（独自算出の注目度）: 24.29676400117284
- License:
- Abstract: Federated Learning (FL) trains a shared model using data and computation power on distributed agents coordinated by a central server. Decentralized FL (DFL) utilizes local model exchange and aggregation between agents to reduce the communication and computation overheads on the central server. However, when agents are mobile, the communication opportunity between agents can be sporadic, largely hindering the convergence and accuracy of DFL. In this paper, we propose Cached Decentralized Federated Learning (Cached-DFL) to investigate delay-tolerant model spreading and aggregation enabled by model caching on mobile agents. Each agent stores not only its own model, but also models of agents encountered in the recent past. When two agents meet, they exchange their own models as well as the cached models. Local model aggregation utilizes all models stored in the cache. We theoretically analyze the convergence of Cached-DFL, explicitly taking into account the model staleness introduced by caching. We design and compare different model caching algorithms for different DFL and mobility scenarios. We conduct detailed case studies in a vehicular network to systematically investigate the interplay between agent mobility, cache staleness, and model convergence. In our experiments, Cached-DFL converges quickly, and significantly outperforms DFL without caching.
- Abstract（参考訳）: フェデレートラーニング(FL)は、中央サーバーで調整された分散エージェントにデータと計算能力を使って共有モデルを訓練する。
分散FL(DFL)は、エージェント間のローカルモデル交換とアグリゲーションを利用して、中央サーバ上の通信および計算オーバーヘッドを低減する。
しかし、エージェントが移動している場合、エージェント間の通信機会は散発的になり、DFLの収束と精度を阻害する。
本稿では,モバイルエージェント上でのモデルキャッシングによって実現される遅延耐性モデルの普及と集約について,キャッシュド・DFL(Cached Decentralized Federated Learning)を提案する。
各エージェントは、自身のモデルだけでなく、最近遭遇したエージェントのモデルも格納する。
2人のエージェントが会うと、キャッシュされたモデルだけでなく、独自のモデルも交換する。
ローカルモデルアグリゲーションはキャッシュに格納されたすべてのモデルを利用する。
本稿では,キャッシュによるモデル安定性を考慮したCached-DFLの収束を理論的に解析する。
異なるDFLおよび移動シナリオに対して異なるモデルキャッシングアルゴリズムを設計・比較する。
本研究では,車載ネットワークにおいて,エージェントの移動性,キャッシュの安定性,モデル収束性の相互作用を系統的に研究するために,詳細な事例研究を行う。
我々の実験では、Cached-DFLは急速に収束し、キャッシュなしでDFLを著しく上回っている。
関連論文リスト
- Decentralized Diffusion Models [53.89995588977048]
大規模なAIモデルトレーニングでは、数千のGPU間で作業が分割され、各ステップでグラデーションが同期される。
これにより、集中型のモノリシッククラスタしかサポートできない、ネットワークの重大な負担が発生する。
独立クラスタ間で拡散モデルのトレーニングを分散するスケーラブルなフレームワークである分散拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-01-09T18:59:56Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance [23.125185494897522]
有望な分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)アプリケーションで広く採用されている。
FLの効率性と推論能力は、トラグラーの存在と大規模なAIoTデバイス間のデータの不均衡により、著しく制限されている。
本稿では,階層型キャッシュベースのアグリゲーション機構と機能バランス誘導型デバイス選択戦略を含む,CaBaFLという新しいFLアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-19T12:39:11Z) - Complement Sparsification: Low-Overhead Model Pruning for Federated
Learning [2.0428960719376166]
フェデレートラーニング(Federated Learning, FL)は、プライバシに保護された分散ディープラーニングパラダイムであり、かなりのコミュニケーションと計算作業を伴う。
既存のモデルプルーニング/スパーシフィケーションソリューションは、サーバとクライアント間の双方向通信のオーバーヘッドが低いという要求を満たすことができません。
我々は,サーバとクライアントで行う補完的かつ協調的なプルーニングを通じて,これらの要求を満たすプルーニング機構であるComplement Sparsification (CS)を提案する。
論文 参考訳（メタデータ） (2023-03-10T23:07:02Z) - Boost Decentralized Federated Learning in Vehicular Networks by
Diversifying Data Sources [16.342217928468227]
そこで本稿では,DFLにおけるデータソースの多様化を目的としたDFL-DDS(DFL with diversified Data Sources)アルゴリズムを提案する。
具体的には、各車両は状態ベクトルを保持し、そのモデルに対する各データソースの寄与重量を記録する。
DFLの収束を高めるために、車両は、その状態ベクトルのKL分散を最小化して、各データソースの集約重量を調整する。
論文 参考訳（メタデータ） (2022-09-05T04:01:41Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。
我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
論文 参考訳（メタデータ） (2021-10-19T22:49:04Z) - Flow-FL: Data-Driven Federated Learning for Spatio-Temporal Predictions
in Multi-Robot Systems [16.887485428725043]
我々は,フェデレートラーニングフレームワークが,コネクテッドロボットチームの分散データから集合的に学習する方法について述べる。
このフレームワークは通常、データをローカルに収集し、モデルのニューラルネットワーク重みを更新し、グローバルモデルに集約するためにサーバにアップデートを送信する。
論文 参考訳（メタデータ） (2020-10-16T19:09:57Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。