論文の概要: Quantized Hierarchical Federated Learning: A Robust Approach to Statistical Heterogeneity

• arxiv url: http://arxiv.org/abs/2403.01540v1
• Date: Sun, 3 Mar 2024 15:40:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 20:56:31.277159
• Title: Quantized Hierarchical Federated Learning: A Robust Approach to Statistical Heterogeneity
• Title（参考訳）: 量子階層的フェデレーション学習 : 統計的不均一性に対するロバストなアプローチ
• Authors: Seyed Mohammad Azimi-Abarghouyi, Viktoria Fodor
• Abstract要約: 本稿では,コミュニケーション効率に量子化を組み込んだ新しい階層型フェデレーション学習アルゴリズムを提案する。 最適性ギャップと収束率を評価するための包括的な分析フレームワークを提供する。 この結果から,本アルゴリズムはパラメータの範囲で常に高い学習精度を達成できることが判明した。
• 参考スコア（独自算出の注目度）: 3.8798345704175534
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper presents a novel hierarchical federated learning algorithm within multiple sets that incorporates quantization for communication-efficiency and demonstrates resilience to statistical heterogeneity. Unlike conventional hierarchical federated learning algorithms, our approach combines gradient aggregation in intra-set iterations with model aggregation in inter-set iterations. We offer a comprehensive analytical framework to evaluate its optimality gap and convergence rate, comparing these aspects with those of conventional algorithms. Additionally, we develop a problem formulation to derive optimal system parameters in a closed-form solution. Our findings reveal that our algorithm consistently achieves high learning accuracy over a range of parameters and significantly outperforms other hierarchical algorithms, particularly in scenarios with heterogeneous data distributions.
• Abstract（参考訳）: 本稿では,通信効率の量子化を取り入れ,統計的不均一性に対するレジリエンスを示す,新しい階層型フェデレーション学習アルゴリズムを提案する。 従来の階層型フェデレーション学習アルゴリズムとは異なり,本手法では,集合内反復における勾配アグリゲーションと集合間反復におけるモデルアグリゲーションを組み合わせる。 我々は,その最適性ギャップと収束率を評価するための包括的解析フレームワークを提案し,従来のアルゴリズムと比較した。 さらに、閉形式解における最適システムパラメータを導出する問題定式化を開発する。 以上の結果から,本アルゴリズムは他の階層型アルゴリズム,特に異種データ分布のシナリオよりも高い学習精度を一貫して達成していることが判明した。

関連論文リスト

• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Communication-Efficient Gradient Descent-Accent Methods for Distributed Variational Inequalities: Unified Analysis and Local Updates [28.700663352789395]
  分散変分不等式問題(VIP)に対する通信効率の良い局所訓練手法の統一収束解析を提供する。 提案手法は,いくつかの新しい局所学習アルゴリズムの提案と解析を可能にする推定値に関する一般的な鍵となる仮定に基づいている。 異種データにおける分散変分不等式を解くために,通信複雑性の向上を図った最初の局所降下偏差アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T10:58:46Z)
• Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate [26.676582181833584]
  分散化されたマルチレベル最適化は、マルチレベル構造と分散通信のために困難である。 マルチレベル構成問題を最適化する2つの新しい分散最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-06-06T00:23:28Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• On the Effects of Data Heterogeneity on the Convergence Rates of Distributed Linear System Solvers [9.248526557884498]
  本稿では,タスクマスターと機械の集合によって分散的あるいは連合的に線形方程式の大規模系を解く問題を考察する。 我々は、この問題を解決するためによく知られたアルゴリズムの2つのクラス、すなわち射影法と最適化法を比較した。
  論文  参考訳（メタデータ） (2023-04-20T20:48:00Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• Adaptive Resonance Theory-based Topological Clustering with a Divisive Hierarchical Structure Capable of Continual Learning [8.581682204722894]
  本稿では、データポイントの分布から類似度閾値を自動的に推定する機構を備えたARTベースのトポロジカルクラスタリングアルゴリズムを提案する。 情報抽出性能を向上させるために,連続学習が可能な分割階層クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-26T02:34:52Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。