論文の概要: A-LAQ: Adaptive Lazily Aggregated Quantized Gradient

• arxiv url: http://arxiv.org/abs/2210.17474v1
• Date: Mon, 31 Oct 2022 16:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 19:51:21.090963
• Title: A-LAQ: Adaptive Lazily Aggregated Quantized Gradient
• Title（参考訳）: A-LAQ:Adaptive Lazily Aggregated Quantized Gradient
• Authors: Afsaneh Mahmoudi, Jos\'e Mairton Barros Da Silva J\'unior, Hossein S. Ghadikolaei, Carlo Fischione
• Abstract要約: フェデレートラーニング(FL)は、クライアントに分散したデータで機械学習問題を解決する上で、重要な役割を果たす。 FLでは、クライアントとサーバ間のデータの通信オーバーヘッドを減らすため、各クライアントはローカルデータの代わりにローカルFLパラメータを通信する。 本稿では、FLイテレーション中に複数の通信ビットをアダプティブに割り当てることで、LAQを大幅に拡張するAdaptive Lazily Aggregated Quantized Gradient (A-LAQ)を提案する。
• 参考スコア（独自算出の注目度）: 11.990047476303252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) plays a prominent role in solving machine learning problems with data distributed across clients. In FL, to reduce the communication overhead of data between clients and the server, each client communicates the local FL parameters instead of the local data. However, when a wireless network connects clients and the server, the communication resource limitations of the clients may prevent completing the training of the FL iterations. Therefore, communication-efficient variants of FL have been widely investigated. Lazily Aggregated Quantized Gradient (LAQ) is one of the promising communication-efficient approaches to lower resource usage in FL. However, LAQ assigns a fixed number of bits for all iterations, which may be communication-inefficient when the number of iterations is medium to high or convergence is approaching. This paper proposes Adaptive Lazily Aggregated Quantized Gradient (A-LAQ), which is a method that significantly extends LAQ by assigning an adaptive number of communication bits during the FL iterations. We train FL in an energy-constraint condition and investigate the convergence analysis for A-LAQ. The experimental results highlight that A-LAQ outperforms LAQ by up to a $50$% reduction in spent communication energy and an $11$% increase in test accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントに分散したデータで機械学習問題を解決する上で、重要な役割を果たす。 flでは、クライアントとサーバ間のデータの通信オーバーヘッドを低減するため、各クライアントはローカルデータの代わりにローカルflパラメータを通信する。 しかし、無線ネットワークがクライアントとサーバを接続する場合、クライアントの通信リソースの制限により、FLイテレーションのトレーニングが完了するのを防ぐことができる。 そのため,FLの通信効率の変動は広く研究されている。 Lazily Aggregated Quantized Gradient (LAQ)は、FLにおけるリソース使用量を減らすための有望な通信効率のアプローチの1つである。 しかし、LAQは全てのイテレーションに対して固定数のビットを割り当てるが、これはイテレーションの数が中から高い場合や収束が近づいている場合、通信非効率である可能性がある。 本稿では,FLイテレーション中に複数の通信ビットをアダプティブに割り当てることで,LAQを大幅に拡張する手法であるAdaptive Lazily Aggregated Quantized Gradient (A-LAQ)を提案する。 エネルギー制約条件下でflを訓練し,a-laqの収束解析を行った。 実験の結果,A-LAQは通信エネルギーの50ドル%削減,テスト精度の11ドル%向上に対してLAQを上回った。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Accelerating Energy-Efficient Federated Learning in Cell-Free Networks with Adaptive Quantization [45.99908087352264]
  フェデレートラーニング(FL)により、クライアントはローカルデータの代わりに学習パラメータを共有でき、通信オーバーヘッドを低減できる。 従来の無線ネットワークはFLでレイテンシの問題に直面している。 本稿では,クライアントサーバ間のシームレスな協調作業に最適化されたアップリンク電力割り当てを特徴とするエネルギー効率,低レイテンシFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-30T08:10:21Z)
• Adaptive Quantization Resolution and Power Control for Federated Learning over Cell-free Networks [41.23236059700041]
  Federated Learning(FL)は、ローカルモデルの更新を生のデータセットではなくサーバと交換することで、グローバルモデルをトレーニングする分散学習フレームワークである。 セルフリーの大規模マルチインプット多重出力(CFmMIMO)は、同じ時間/周波数のリソースを同じレートで多くのユーザに提供する、有望なソリューションである。 本稿では, フラッグラー効果を緩和するために, FLアプリケーションと物理層を同時最適化する。
  論文  参考訳（メタデータ） (2024-12-14T16:08:05Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• FLSTRA: Federated Learning in Stratosphere [22.313423693397556]
  高度の高いプラットフォームステーションは、多くの地球上のクライアントが、トレーニングデータなしでグローバルなモデルを協調的に学習できるようにする。 我々は、FL遅延を最小限に抑えるために、アップリンクとダウンリンクのための共同クライアント選択とリソース割り当てアルゴリズムを開発した。 次に,その収束の上限を導出しながら,FLの精度を目標とする通信資源認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-01T00:52:55Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。