論文の概要: FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation

• arxiv url: http://arxiv.org/abs/2309.17174v1
• Date: Fri, 29 Sep 2023 12:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 14:02:19.285470
• Title: FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation
• Title（参考訳）: FedZeN:インクリメンタルヘッセン推定による超線形ゼロ次連邦学習を目指して
• Authors: Alessio Maritan, Subhrakanti Dey, Luca Schenato
• Abstract要約: 我々は,世界目標の曲率を推定するために,最初のフェデレーションゼロ次アルゴリズムを設計する。 誤差ノルムが線形に収束するインクリメンタルなヘッセン推定器を取り、それを連邦化ゼロ階数設定に適応させる。 我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域的線形収束を証明した。
• 参考スコア（独自算出の注目度）: 1.45179582111722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a distributed learning framework that allows a set of clients to collaboratively train a model under the orchestration of a central server, without sharing raw data samples. Although in many practical scenarios the derivatives of the objective function are not available, only few works have considered the federated zeroth-order setting, in which functions can only be accessed through a budgeted number of point evaluations. In this work we focus on convex optimization and design the first federated zeroth-order algorithm to estimate the curvature of the global objective, with the purpose of achieving superlinear convergence. We take an incremental Hessian estimator whose error norm converges linearly, and we adapt it to the federated zeroth-order setting, sampling the random search directions from the Stiefel manifold for improved performance. In particular, both the gradient and Hessian estimators are built at the central server in a communication-efficient and privacy-preserving way by leveraging synchronized pseudo-random number generators. We provide a theoretical analysis of our algorithm, named FedZeN, proving local quadratic convergence with high probability and global linear convergence up to zeroth-order precision. Numerical simulations confirm the superlinear convergence rate and show that our algorithm outperforms the federated zeroth-order methods available in the literature.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、クライアントのセットが、生のデータサンプルを共有することなく、中央サーバのオーケストレーションの下で協調的にモデルをトレーニングできる分散学習フレームワークである。 多くの実用的なシナリオでは、目的関数の導関数は利用できないが、予算のかかる点評価を通じてのみ関数にアクセス可能な、フェデレーションされたゼロ次設定を考えるのはごくわずかである。 本研究では,超線形収束を達成するために,凸最適化に着目し,大域目標の曲率を推定する最初の連立ゼロ次アルゴリズムを設計する。 誤差ノルムが線形に収束する漸進的ヘッセン推定器を取り、フェデレーションされたゼロ次設定に適応し、スティフェル多様体からランダム探索方向をサンプリングし、性能を向上させる。 特に、勾配とヘッセン推定器は、同期擬似ランダム数生成器を利用することで、通信効率とプライバシー保護の両面で中央サーバに構築される。 我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域線型収束を証明した。 数値シミュレーションにより超線形収束率を確認し,本手法が文献で利用可能な0階法より優れていることを示す。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function [14.986031916712108]
  勾配追跡手法の一点推定に基づくゼロ階分散最適化手法を提案する。 我々は,この手法が雑音条件下で数値関数と収束することを証明した。
  論文  参考訳（メタデータ） (2024-10-08T11:45:45Z)
• An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models [6.54203362045253]
  線形ガウス構造方程式モデルに基づいて連続観測データからネットワークを学習する問題について検討する。 本稿では,$ell$penalized max chanceの最適目標値に収束する新しい座標降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-21T20:18:03Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization [8.670873561640903]
  分散環境下での非平滑な非平滑な目的に対する(delta,,ilon$)-定常点の有限時間解析について検討する。 $Oは分散非滑らかな最適化のための最初の有限時間保証である。
  論文  参考訳（メタデータ） (2024-06-03T16:09:34Z)
• Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [0.0]
  フェデレートラーニング(FL)は、データを複数の場所に保持するモデル("clients")をセキュアにトレーニングするために提案されている。 FLアルゴリズムの性能を阻害する2つの大きな課題は、階層化クライアントによって引き起こされる長いトレーニング時間と、非イドローカルなデータ分布("client drift")によるモデル精度の低下である。 本稿では,Asynchronous Exact Averaging (AREA, Asynchronous Exact Averaging) を提案する。Asynchronous Exact Averaging (AREA) は,通信を利用して収束を高速化し,拡張性を向上し,クライアント更新頻度の変動によるクライアントのドリフトの補正にクライアントメモリを利用する。
  論文  参考訳（メタデータ） (2024-05-16T14:22:49Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Tackling the Objective Inconsistency Problem in Heterogeneous Federated Optimization [93.78811018928583]
  本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。 我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
  論文  参考訳（メタデータ） (2020-07-15T05:01:23Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。