論文の概要: Quantized and Asynchronous Federated Learning

• arxiv url: http://arxiv.org/abs/2410.00242v1
• Date: Mon, 30 Sep 2024 21:22:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:46:17.149260
• Title: Quantized and Asynchronous Federated Learning
• Title（参考訳）: 量子化と非同期フェデレーション学習
• Authors: Tomas Ortega, Hamid Jafarkhani,
• Abstract要約: 我々は,通信ボトルネックに対処する新しい手法であるQuantized Federated AsynchronousQALを開発した。 我々はQALが一様クライアントの到着を必要とせずに$mathtcalqr$dic収束を実現することを証明した。 提案手法を標準ベンチマークを用いて検証する。
• 参考スコア（独自算出の注目度）: 22.40154714677385
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in federated learning have shown that asynchronous variants can be faster and more scalable than their synchronous counterparts. However, their design does not include quantization, which is necessary in practice to deal with the communication bottleneck. To bridge this gap, we develop a novel algorithm, Quantized Asynchronous Federated Learning (QAFeL), which introduces a hidden-state quantization scheme to avoid the error propagation caused by direct quantization. QAFeL also includes a buffer to aggregate client updates, ensuring scalability and compatibility with techniques such as secure aggregation. Furthermore, we prove that QAFeL achieves an $\mathcal{O}(1/\sqrt{T})$ ergodic convergence rate for stochastic gradient descent on non-convex objectives, which is the optimal order of complexity, without requiring bounded gradients or uniform client arrivals. We also prove that the cross-term error between staleness and quantization only affects the higher-order error terms. We validate our theoretical findings on standard benchmarks.
• Abstract（参考訳）: 連合学習の最近の進歩により、非同期の変種は同期の変種よりも高速でスケーラブルであることが示されている。 しかし、その設計には量子化は含まれておらず、実際には通信ボトルネックに対処する必要がある。 このギャップを埋めるために、直接量子化による誤りの伝播を回避するために隠れ状態量子化方式を導入する新しいアルゴリズム、Quantized Asynchronous Federated Learning (QAFeL) を開発した。 QAFeLには、クライアント更新を集約するバッファも含まれており、セキュアアグリゲーションのような技術とのスケーラビリティと互換性を保証する。 さらに、QAFeL が非凸目的に対する確率的勾配降下に対する $\mathcal{O}(1/\sqrt{T})$ ergodic convergence rate を達成することを証明した。 また、安定度と量子化の間の時間的誤差が高次誤差項にのみ影響することを証明する。 標準ベンチマークで理論的な結果を検証する。

関連論文リスト

• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Asynchronous Federated Learning with Bidirectional Quantized Communications and Buffered Aggregation [39.057968279167966]
  Asynchronous Federated Learning with Buffered Aggregation (FedBuff)は、その効率性と高いスケーラビリティで知られている最先端のアルゴリズムである。 直接量子化によるエラー伝搬を回避するために,サーバとクライアント間で共有された"隠れ"状態を確立する量子化スキームを備えた新しいアルゴリズム(QAFeL)を提案する。
  論文  参考訳（メタデータ） (2023-08-01T03:50:58Z)
• Scaling Limits of Quantum Repeater Networks [62.75241407271626]
  量子ネットワーク(QN)は、セキュアな通信、強化されたセンシング、効率的な分散量子コンピューティングのための有望なプラットフォームである。 量子状態の脆弱な性質のため、これらのネットワークはスケーラビリティの観点から大きな課題に直面している。 本稿では,量子リピータネットワーク(QRN)のスケーリング限界について解析する。
  論文  参考訳（メタデータ） (2023-05-15T14:57:01Z)
• Unbounded Gradients in Federated Leaning with Buffered Asynchronous Aggregation [0.6526824510982799]
  textitFedBuffアルゴリズムは、セキュアなアグリゲーションを通じてプライバシを保持しながら非同期更新を可能にする。 本稿では,データの不均一性,バッチサイズ,遅延を考慮したアルゴリズムの収束率に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-10-03T18:20:48Z)
• Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design [68.86220939532373]
  有限精度レベルは、固定精度フォーマットで重みとアクティベーションを定量化する量子ニューラルネットワーク(QNN)を使用して取得される。 提案するFLフレームワークは,ベースラインFLアルゴリズムと比較して,収束までのエネルギー消費量を最大70%削減することができる。
  論文  参考訳（メタデータ） (2022-07-19T16:37:24Z)
• NIPQ: Noise proxy-based Integrated Pseudo-Quantization [9.207644534257543]
  量子化対応トレーニング(QAT)におけるストレートスルー推定器(STE)の不安定収束 アクティベーションと重みの両面において擬似量子化を統一的にサポートする新しいノイズプロキシベース統合擬似量子化(NIPQ)を提案する。 NIPQは、様々なビジョンや言語アプリケーションにおける既存の量子化アルゴリズムよりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2022-06-02T01:17:40Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Wireless Quantized Federated Learning: A Joint Computation and Communication Design [36.35684767732552]
  本稿では、アップリンク伝送前の局所モデルパラメータを定量化することにより、FLの総収束時間を最小化することを目的とする。 グローバルラウンド全体の収束時間を最小限に抑えるため,計算,通信資源,量子化ビット数を共同で最適化する。
  論文  参考訳（メタデータ） (2022-03-11T12:30:08Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。