論文の概要: AQUILA: Communication Efficient Federated Learning with Adaptive
Quantization in Device Selection Strategy
- arxiv url: http://arxiv.org/abs/2308.00258v2
- Date: Wed, 4 Oct 2023 13:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 21:19:30.953843
- Title: AQUILA: Communication Efficient Federated Learning with Adaptive
Quantization in Device Selection Strategy
- Title（参考訳）: AQUILA: デバイス選択戦略における適応量子化によるコミュニケーション効率のよいフェデレーション学習
- Authors: Zihao Zhao, Yuzhu Mao, Zhenpeng Shi, Yang Liu, Tian Lan, Wenbo Ding,
and Xiao-Ping Zhang
- Abstract要約: 本稿では,これらの問題に対処するために考案された新しい適応型フレームワークであるAQUILA(Adaptive Quantization in Device selection Strategy)を紹介する。
AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。
実験の結果,AQUILAは既存の手法に比べて通信コストを大幅に削減できることがわかった。
- 参考スコア（独自算出の注目度）: 27.443439653087662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The widespread adoption of Federated Learning (FL), a privacy-preserving
distributed learning methodology, has been impeded by the challenge of high
communication overheads, typically arising from the transmission of large-scale
models. Existing adaptive quantization methods, designed to mitigate these
overheads, operate under the impractical assumption of uniform device
participation in every training round. Additionally, these methods are limited
in their adaptability due to the necessity of manual quantization level
selection and often overlook biases inherent in local devices' data, thereby
affecting the robustness of the global model. In response, this paper
introduces AQUILA (adaptive quantization in device selection strategy), a novel
adaptive framework devised to effectively handle these issues, enhancing the
efficiency and robustness of FL. AQUILA integrates a sophisticated device
selection method that prioritizes the quality and usefulness of device updates.
Utilizing the exact global model stored by devices, it enables a more precise
device selection criterion, reduces model deviation, and limits the need for
hyperparameter adjustments. Furthermore, AQUILA presents an innovative
quantization criterion, optimized to improve communication efficiency while
assuring model convergence. Our experiments demonstrate that AQUILA
significantly decreases communication costs compared to existing methods, while
maintaining comparable model performance across diverse non-homogeneous FL
settings, such as Non-IID data and heterogeneous model architectures.
- Abstract（参考訳）: プライバシを保存する分散学習手法であるフェデレートラーニング(FL)の普及は、大規模モデルの伝達によって生じる高い通信オーバーヘッドの課題によって妨げられている。
これらのオーバーヘッドを軽減するために設計された既存の適応量子化法は、トレーニングラウンド毎に一様デバイスに参加するという非現実的な仮定の下で動作します。
さらに、これらの手法は、手動量子化レベルの選択が必要であり、しばしばローカルデバイスのデータに固有のバイアスを見落とし、グローバルモデルの堅牢性に影響を与えるため、適応性に制限されている。
そこで本研究では,これらの問題を効果的に処理するための新しい適応フレームワークであるAQUILA(Adaptive Quantization in Device selection Strategy)を紹介し,FLの効率性と堅牢性を高める。
AQUILAは、デバイス更新の品質と有用性を優先する高度なデバイス選択方法を統合する。
デバイスが格納する正確なグローバルモデルを利用することで、より正確なデバイス選択基準を可能にし、モデルの偏差を低減し、ハイパーパラメータ調整の必要性を制限できる。
さらに、AQUILAは、モデル収束性を確保しつつ通信効率を向上させるために最適化された革新的な量子化基準を示す。
また,非iidデータやヘテロジニアスモデルアーキテクチャなど,多様な非均質なfl設定に対して同等のモデル性能を維持しながら,aquilaが通信コストを大幅に削減できることを実証した。
関連論文リスト
- Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Efficient Language Model Architectures for Differentially Private
Federated Learning [21.280600854272716]
クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。
言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。
ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
論文 参考訳（メタデータ） (2024-03-12T22:21:48Z) - AdaptiveFL: Adaptive Heterogeneous Federated Learning for Resource-Constrained AIoT Systems [25.0282475069725]
Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)デバイス間の協調学習を可能にすることを約束している。
本稿では,新しい幅ワイドモデルプルーニング戦略に基づいて,AdaptiveFLという効果的なFL手法を提案する。
我々は,AdaptiveFLがIIDシナリオと非IIDシナリオの両方に対して最大16.83%の推論改善を達成可能であることを示す。
論文 参考訳（メタデータ） (2023-11-22T05:17:42Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - FedGPO: Heterogeneity-Aware Global Parameter Optimization for Efficient
Federated Learning [11.093360539563657]
フェデレートラーニング(FL)は、機械学習トレーニングにおけるプライバシリークのリスクに対処するソリューションとして登場した。
我々は,モデル収束を保証しつつ,FLのエネルギー効率を最適化するFedGPOを提案する。
我々の実験では、FedGPOはモデル収束時間を2.4倍改善し、ベースライン設定の3.6倍のエネルギー効率を達成する。
論文 参考訳（メタデータ） (2022-11-30T01:22:57Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳（メタデータ） (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。