論文の概要: AQUILA: Communication Efficient Federated Learning with Adaptive
Quantization of Lazily-Aggregated Gradients
- arxiv url: http://arxiv.org/abs/2308.00258v1
- Date: Tue, 1 Aug 2023 03:41:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-02 15:30:04.244597
- Title: AQUILA: Communication Efficient Federated Learning with Adaptive
Quantization of Lazily-Aggregated Gradients
- Title（参考訳）: AQUILA: 遅延集約勾配の適応量子化によるコミュニケーション効率の良いフェデレーション学習
- Authors: Zihao Zhao, Yuzhu Mao, Zhenpeng Shi, Yang Liu, Tian Lan, Wenbo Ding,
and Xiao-Ping Zhang
- Abstract要約: 本稿では,AQUILA (Adaptive Quantization of lazily-aggregated gradients)を提案する。
AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。
実験の結果,AQUILAは既存の手法に比べて通信コストを大幅に削減できることがわかった。
- 参考スコア（独自算出の注目度）: 20.127223795577876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread adoption of Federated Learning (FL), a privacy-preserving
distributed learning methodology, has been impeded by the challenge of high
communication overheads, typically arising from the transmission of large-scale
models. Existing adaptive quantization methods, designed to mitigate these
overheads, operate under the impractical assumption of uniform device
participation in every training round. Additionally, these methods are limited
in their adaptability due to the necessity of manual quantization level
selection and often overlook biases inherent in local devices' data, thereby
affecting the robustness of the global model. In response, this paper
introduces AQUILA (adaptive quantization of lazily-aggregated gradients), a
novel adaptive framework devised to effectively handle these issues, enhancing
the efficiency and robustness of FL. AQUILA integrates a sophisticated device
selection method that prioritizes the quality and usefulness of device updates.
Utilizing the exact global model stored by devices, it enables a more precise
device selection criterion, reduces model deviation, and limits the need for
hyperparameter adjustments. Furthermore, AQUILA presents an innovative
quantization criterion, optimized to improve communication efficiency while
assuring model convergence. Our experiments demonstrate that AQUILA
significantly decreases communication costs compared to existing methods, while
maintaining comparable model performance across diverse non-homogeneous FL
settings, such as Non-IID data and heterogeneous model architectures.
- Abstract（参考訳）: プライバシを保存する分散学習手法であるフェデレートラーニング(FL)の普及は、大規模モデルの伝達によって生じる高い通信オーバーヘッドの課題によって妨げられている。
これらのオーバーヘッドを軽減するために設計された既存の適応量子化法は、トレーニングラウンド毎に一様デバイスに参加するという非現実的な仮定の下で動作します。
さらに、これらの手法は、手動量子化レベルの選択が必要であり、しばしばローカルデバイスのデータに固有のバイアスを見落とし、グローバルモデルの堅牢性に影響を与えるため、適応性に制限されている。
本稿では,これらの問題を効果的に処理し,FLの効率性とロバスト性を高めるために考案された新しい適応フレームワークであるAQUILAを紹介する。
AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。
デバイスが格納する正確なグローバルモデルを利用することで、より正確なデバイス選択基準を可能にし、モデルの偏差を低減し、ハイパーパラメータ調整の必要性を制限できる。
さらに、AQUILAは、モデル収束性を確保しつつ通信効率を向上させるために最適化された革新的な量子化基準を示す。
また,非iidデータやヘテロジニアスモデルアーキテクチャなど,多様な非均質なfl設定に対して同等のモデル性能を維持しながら,aquilaが通信コストを大幅に削減できることを実証した。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Efficient Language Model Architectures for Differentially Private
Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。
言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。
ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T22:21:48Z) - AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems [25.0282475069725]
Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)デバイス間の協調学習を可能にすることを約束している。
本稿では,新しい幅ワイドモデルプルーニング戦略に基づいて,AdaptiveFLという効果的なFL手法を提案する。
我々は,AdaptiveFLがIIDシナリオと非IIDシナリオの両方に対して最大16.83%の推論改善を達成可能であることを示す。
論文 参考訳（メタデータ） (2023-11-22T05:17:42Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。