論文の概要: Hierarchical Quantized Federated Learning: Convergence Analysis and System Design

• arxiv url: http://arxiv.org/abs/2103.14272v1
• Date: Fri, 26 Mar 2021 05:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:37:39.734555
• Title: Hierarchical Quantized Federated Learning: Convergence Analysis and System Design
• Title（参考訳）: 階層型量子化連合学習:収束解析とシステム設計
• Authors: Lumin Liu, Jun Zhang, Shenghui Song, Khaled B. Letaief
• Abstract要約: フェデレーション学習は、クライアントのプライベートデータなしでディープニューラルネットワークをトレーニングするコラボレーティブマシンである。 以前の作業は、クラウドまたはエッジで1つの中央パラメータを仮定します。 本稿では,両クラウドサーバの利点を活用し,階層型量子化フェデレート学習システムについて考察する。
• 参考スコア（独自算出の注目度）: 7.481427303081613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a collaborative machine learning framework to train deep neural networks without accessing clients' private data. Previous works assume one central parameter server either at the cloud or at the edge. A cloud server can aggregate knowledge from all participating clients but suffers high communication overhead and latency, while an edge server enjoys more efficient communications during model update but can only reach a limited number of clients. This paper exploits the advantages of both cloud and edge servers and considers a Hierarchical Quantized Federated Learning (HQFL) system with one cloud server, several edge servers and many clients, adopting a communication-efficient training algorithm, Hier-Local-QSGD. The high communication efficiency comes from frequent local aggregations at the edge servers and fewer aggregations at the cloud server, as well as weight quantization during model uploading. A tight convergence bound for non-convex objective loss functions is derived, which is then applied to investigate two design problems, namely, the accuracy-latency trade-off and edge-client association. It will be shown that given a latency budget for the whole training process, there is an optimal parameter choice with respect to the two aggregation intervals and two quantization levels. For the edge-client association problem, it is found that the edge-client association strategy has no impact on the convergence speed. Empirical simulations shall verify the findings from the convergence analysis and demonstrate the accuracy-latency trade-off in the hierarchical federated learning system.
• Abstract（参考訳）: Federated Learningは、クライアントのプライベートデータにアクセスせずにディープニューラルネットワークをトレーニングするための、協調的な機械学習フレームワークである。 以前の作業では、クラウドまたはエッジの1つの中央パラメータサーバを想定していた。 クラウドサーバは参加するすべてのクライアントから知識を集約できるが、通信のオーバーヘッドやレイテンシは高く、エッジサーバはモデル更新時により効率的な通信を享受できるが、限られた数のクライアントにしか到達できない。 本稿では,クラウドサーバとエッジサーバの両方の利点を活用し,一つのクラウドサーバ,複数のエッジサーバ,多数のクライアントを備えた階層的量子化フェデレートラーニング(HQFL)システムについて考察する。 高い通信効率は、エッジサーバでの頻繁なローカルアグリゲーションと、クラウドサーバでのアグリゲーションの削減と、モデルアップロード時のウェイト量子化によってもたらされます。 非凸目的損失関数に束縛された密収束法を導出し、精度-遅延トレードオフとエッジ-クライアント結合という2つの設計問題に応用する。 トレーニングプロセス全体の遅延予算が与えられると、2つの集約間隔と2つの量子化レベルに関して最適なパラメータ選択が存在することが示される。 エッジ・クライアント・アソシエーション問題では,エッジ・クライアント・アソシエーション戦略が収束速度に影響を与えないことが判明した。 実験シミュレーションでは, 収束解析の結果を検証し, 階層型連合学習システムにおける精度-遅延トレードオフを実証する。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
  クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。 クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。 各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
  論文  参考訳（メタデータ） (2023-06-21T17:39:16Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• An Efficient Split Fine-tuning Framework for Edge and Cloud Collaborative Learning [20.118073642453034]
  エッジおよびクラウド協調学習のための効率的な分割微調整フレームワークを設計する。 ニューラルネットワークの中間出力を圧縮し、エッジデバイスとクラウドサーバ間の通信量を削減する。 我々のフレームワークは、モデルの精度にほとんど影響を与えずに、96倍の通信トラフィックを削減できる。
  論文  参考訳（メタデータ） (2022-11-30T02:55:21Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Time Minimization in Hierarchical Federated Learning [11.678121177730718]
  フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。 本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
  論文  参考訳（メタデータ） (2022-10-07T13:53:20Z)
• Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of Partitioned Edge Learning [73.82875010696849]
  機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。 本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
  論文  参考訳（メタデータ） (2020-03-10T05:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。