論文の概要: A-LAQ: Adaptive Lazily Aggregated Quantized Gradient

• arxiv url: http://arxiv.org/abs/2210.17474v1
• Date: Mon, 31 Oct 2022 16:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 19:51:21.090963
• Title: A-LAQ: Adaptive Lazily Aggregated Quantized Gradient
• Title（参考訳）: A-LAQ:Adaptive Lazily Aggregated Quantized Gradient
• Authors: Afsaneh Mahmoudi, Jos\'e Mairton Barros Da Silva J\'unior, Hossein S. Ghadikolaei, Carlo Fischione
• Abstract要約: フェデレートラーニング(FL)は、クライアントに分散したデータで機械学習問題を解決する上で、重要な役割を果たす。 FLでは、クライアントとサーバ間のデータの通信オーバーヘッドを減らすため、各クライアントはローカルデータの代わりにローカルFLパラメータを通信する。 本稿では、FLイテレーション中に複数の通信ビットをアダプティブに割り当てることで、LAQを大幅に拡張するAdaptive Lazily Aggregated Quantized Gradient (A-LAQ)を提案する。
• 参考スコア（独自算出の注目度）: 11.990047476303252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) plays a prominent role in solving machine learning problems with data distributed across clients. In FL, to reduce the communication overhead of data between clients and the server, each client communicates the local FL parameters instead of the local data. However, when a wireless network connects clients and the server, the communication resource limitations of the clients may prevent completing the training of the FL iterations. Therefore, communication-efficient variants of FL have been widely investigated. Lazily Aggregated Quantized Gradient (LAQ) is one of the promising communication-efficient approaches to lower resource usage in FL. However, LAQ assigns a fixed number of bits for all iterations, which may be communication-inefficient when the number of iterations is medium to high or convergence is approaching. This paper proposes Adaptive Lazily Aggregated Quantized Gradient (A-LAQ), which is a method that significantly extends LAQ by assigning an adaptive number of communication bits during the FL iterations. We train FL in an energy-constraint condition and investigate the convergence analysis for A-LAQ. The experimental results highlight that A-LAQ outperforms LAQ by up to a $50$% reduction in spent communication energy and an $11$% increase in test accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントに分散したデータで機械学習問題を解決する上で、重要な役割を果たす。 flでは、クライアントとサーバ間のデータの通信オーバーヘッドを低減するため、各クライアントはローカルデータの代わりにローカルflパラメータを通信する。 しかし、無線ネットワークがクライアントとサーバを接続する場合、クライアントの通信リソースの制限により、FLイテレーションのトレーニングが完了するのを防ぐことができる。 そのため,FLの通信効率の変動は広く研究されている。 Lazily Aggregated Quantized Gradient (LAQ)は、FLにおけるリソース使用量を減らすための有望な通信効率のアプローチの1つである。 しかし、LAQは全てのイテレーションに対して固定数のビットを割り当てるが、これはイテレーションの数が中から高い場合や収束が近づいている場合、通信非効率である可能性がある。 本稿では,FLイテレーション中に複数の通信ビットをアダプティブに割り当てることで,LAQを大幅に拡張する手法であるAdaptive Lazily Aggregated Quantized Gradient (A-LAQ)を提案する。 エネルギー制約条件下でflを訓練し,a-laqの収束解析を行った。 実験の結果,A-LAQは通信エネルギーの50ドル%削減,テスト精度の11ドル%向上に対してLAQを上回った。

関連論文リスト

• FedScalar: A Communication efficient Federated Learning [0.0]
  フェデレーテッド・ラーニング(FL)は分散機械学習でかなりの人気を集めている。 emphFedScalarは、エージェントが単一のスカラーを使用して更新を通信することを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T07:06:49Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• FLrce: Resource-Efficient Federated Learning with Early-Stopping Strategy [7.963276533979389]
  フェデレートラーニング(FL)がIoT(Internet of Things)で大人気 FLrceは、関係ベースのクライアント選択と早期停止戦略を備えた効率的なFLフレームワークである。 その結果,既存のFLフレームワークと比較してFLrceは計算効率を少なくとも30%,通信効率を43%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-15T10:13:44Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Joint Age-based Client Selection and Resource Allocation for Communication-Efficient Federated Learning over NOMA Networks [8.030674576024952]
  FL(Federated Learning)では、分散クライアントは、自身のトレーニングデータをローカルに保持しながら、共有グローバルモデルを共同でトレーニングすることができる。 本稿では,非直交多重アクセス(NOMA)を利用した無線ネットワーク上でのFLにおける各ラウンドの総時間消費を最小化することを目的とした,クライアント選択とリソース割り当ての協調最適化問題を定式化する。 さらに、各ラウンドで選択されていないクライアントのFLモデルを予測し、FL性能をさらに向上するために、サーバサイド人工知能ニューラルネットワーク(ANN)を提案する。
  論文  参考訳（メタデータ） (2023-04-18T13:58:16Z)
• FLSTRA: Federated Learning in Stratosphere [22.313423693397556]
  高度の高いプラットフォームステーションは、多くの地球上のクライアントが、トレーニングデータなしでグローバルなモデルを協調的に学習できるようにする。 我々は、FL遅延を最小限に抑えるために、アップリンクとダウンリンクのための共同クライアント選択とリソース割り当てアルゴリズムを開発した。 次に,その収束の上限を導出しながら,FLの精度を目標とする通信資源認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-01T00:52:55Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)
• Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
  統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。 FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。 本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-07-05T12:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。