論文の概要: Decentralized Federated Learning with Model Caching on Mobile Agents
- arxiv url: http://arxiv.org/abs/2408.14001v1
- Date: Mon, 26 Aug 2024 03:58:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:02:44.441299
- Title: Decentralized Federated Learning with Model Caching on Mobile Agents
- Title（参考訳）: 移動エージェントを用いたモデルキャッシングによる分散フェデレーション学習
- Authors: Xiaoyu Wang, Guojun Xiong, Houwei Cao, Jian Li, Yong Liu,
- Abstract要約: Federated Learning (FL) は、中央サーバによって調整された分散エージェントにデータと計算能力を使って共有モデルをトレーニングすることを目的としている。
分散FL(DFL)は、エージェント間のローカルモデル交換とアグリゲーションを利用して、中央サーバ上の通信オーバーヘッドを低減する。
本研究では,モバイルエージェント上でのモデルキャッシングによる遅延耐性モデル拡散とアグリゲーションについて検討する。
- 参考スコア（独自算出の注目度）: 24.29676400117284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) aims to train a shared model using data and computation power on distributed agents coordinated by a central server. Decentralized FL (DFL) utilizes local model exchange and aggregation between agents to reduce the communication and computation overheads on the central server. However, when agents are mobile, the communication opportunity between agents can be sporadic, largely hindering the convergence and accuracy of DFL. In this paper, we study delay-tolerant model spreading and aggregation enabled by model caching on mobile agents. Each agent stores not only its own model, but also models of agents encountered in the recent past. When two agents meet, they exchange their own models as well as the cached models. Local model aggregation works on all models in the cache. We theoretically analyze the convergence of DFL with cached models, explicitly taking into account the model staleness introduced by caching. We design and compare different model caching algorithms for different DFL and mobility scenarios. We conduct detailed case studies in a vehicular network to systematically investigate the interplay between agent mobility, cache staleness, and model convergence. In our experiments, cached DFL converges quickly, and significantly outperforms DFL without caching.
- Abstract（参考訳）: Federated Learning (FL) は、中央サーバによって調整された分散エージェントにデータと計算能力を使って共有モデルをトレーニングすることを目的としている。
分散FL(DFL)は、エージェント間のローカルモデル交換とアグリゲーションを利用して、中央サーバ上の通信および計算オーバーヘッドを低減する。
しかし、エージェントが移動している場合、エージェント間の通信機会は散発的になり、DFLの収束と精度を阻害する。
本稿では,モバイルエージェント上でのモデルキャッシングによる遅延耐性モデル拡散とアグリゲーションについて検討する。
各エージェントは、自身のモデルだけでなく、最近遭遇したエージェントのモデルも格納する。
2人のエージェントが会うと、キャッシュされたモデルだけでなく、独自のモデルも交換する。
ローカルモデルアグリゲーションはキャッシュ内のすべてのモデルで動作する。
キャッシュモデルによるDFLの収束を理論的に解析し、キャッシュによって導入されたモデルの不安定さを明示的に考慮する。
異なるDFLおよび移動シナリオに対して異なるモデルキャッシングアルゴリズムを設計・比較する。
本研究では,車載ネットワークにおいて,エージェントの移動性,キャッシュの安定性,モデル収束性の相互作用を系統的に研究するために,詳細な事例研究を行う。
我々の実験では,キャッシュドDFLは急速に収束し,キャッシュなしでDFLを著しく上回っている。
関連論文リスト
- Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - Trust the Model Where It Trusts Itself -- Model-Based Actor-Critic with Uncertainty-Aware Rollout Adaption [4.664767161598515]
ダイナスタイルモデルベース強化学習(MBRL)はモデルベースロールアウトを通じてモデルフリーエージェントと予測遷移モデルを組み合わせる。
そこで本研究では,データ効率と性能の大幅な向上を図り,使い易いロールアウト機構を提案する。
論文 参考訳（メタデータ） (2024-05-29T11:53:07Z) - CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance [23.125185494897522]
有望な分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)アプリケーションで広く採用されている。
FLの効率性と推論能力は、トラグラーの存在と大規模なAIoTデバイス間のデータの不均衡により、著しく制限されている。
本稿では,階層型キャッシュベースのアグリゲーション機構と機能バランス誘導型デバイス選択戦略を含む,CaBaFLという新しいFLアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-19T12:39:11Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散分散学習(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方をクライアントが中央サーバなしで実行するFL設定をキャプチャする。
DSpodFLは、さまざまなシステム設定下でのベースラインと比較して、一貫して速度を達成している。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Boost Decentralized Federated Learning in Vehicular Networks by
Diversifying Data Sources [16.342217928468227]
そこで本稿では,DFLにおけるデータソースの多様化を目的としたDFL-DDS(DFL with diversified Data Sources)アルゴリズムを提案する。
具体的には、各車両は状態ベクトルを保持し、そのモデルに対する各データソースの寄与重量を記録する。
DFLの収束を高めるために、車両は、その状態ベクトルのKL分散を最小化して、各データソースの集約重量を調整する。
論文 参考訳（メタデータ） (2022-09-05T04:01:41Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Layer-wise Adaptive Model Aggregation for Scalable Federated Learning [11.669431684184536]
フェデレートラーニング(Federated Learning)では、クライアント間でローカルモデルを集約する一般的なアプローチとして、完全なモデルパラメータの定期的な平均化がある。
我々は,スケーラブルなフェデレート学習のためのレイヤワイドモデルアグリゲーションスキームであるFedLAMAを提案する。
論文 参考訳（メタデータ） (2021-10-19T22:49:04Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。