論文の概要: FedZeN: Towards superlinear zeroth-order federated learning via
incremental Hessian estimation
- arxiv url: http://arxiv.org/abs/2309.17174v1
- Date: Fri, 29 Sep 2023 12:13:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 14:02:19.285470
- Title: FedZeN: Towards superlinear zeroth-order federated learning via
incremental Hessian estimation
- Title(参考訳): FedZeN:インクリメンタルヘッセン推定による超線形ゼロ次連邦学習を目指して
- Authors: Alessio Maritan, Subhrakanti Dey, Luca Schenato
- Abstract要約: 我々は,世界目標の曲率を推定するために,最初のフェデレーションゼロ次アルゴリズムを設計する。
誤差ノルムが線形に収束するインクリメンタルなヘッセン推定器を取り、それを連邦化ゼロ階数設定に適応させる。
我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域的線形収束を証明した。
- 参考スコア(独自算出の注目度): 1.45179582111722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a distributed learning framework that allows a set of
clients to collaboratively train a model under the orchestration of a central
server, without sharing raw data samples. Although in many practical scenarios
the derivatives of the objective function are not available, only few works
have considered the federated zeroth-order setting, in which functions can only
be accessed through a budgeted number of point evaluations. In this work we
focus on convex optimization and design the first federated zeroth-order
algorithm to estimate the curvature of the global objective, with the purpose
of achieving superlinear convergence. We take an incremental Hessian estimator
whose error norm converges linearly, and we adapt it to the federated
zeroth-order setting, sampling the random search directions from the Stiefel
manifold for improved performance. In particular, both the gradient and Hessian
estimators are built at the central server in a communication-efficient and
privacy-preserving way by leveraging synchronized pseudo-random number
generators. We provide a theoretical analysis of our algorithm, named FedZeN,
proving local quadratic convergence with high probability and global linear
convergence up to zeroth-order precision. Numerical simulations confirm the
superlinear convergence rate and show that our algorithm outperforms the
federated zeroth-order methods available in the literature.
- Abstract(参考訳): フェデレーション学習(federated learning)は、クライアントのセットが、生のデータサンプルを共有することなく、中央サーバのオーケストレーションの下で協調的にモデルをトレーニングできる分散学習フレームワークである。
多くの実用的なシナリオでは、目的関数の導関数は利用できないが、予算のかかる点評価を通じてのみ関数にアクセス可能な、フェデレーションされたゼロ次設定を考えるのはごくわずかである。
本研究では,超線形収束を達成するために,凸最適化に着目し,大域目標の曲率を推定する最初の連立ゼロ次アルゴリズムを設計する。
誤差ノルムが線形に収束する漸進的ヘッセン推定器を取り、フェデレーションされたゼロ次設定に適応し、スティフェル多様体からランダム探索方向をサンプリングし、性能を向上させる。
特に、勾配とヘッセン推定器は、同期擬似ランダム数生成器を利用することで、通信効率とプライバシー保護の両面で中央サーバに構築される。
我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域線型収束を証明した。
数値シミュレーションにより超線形収束率を確認し,本手法が文献で利用可能な0階法より優れていることを示す。
関連論文リスト
- Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳(メタデータ) (2022-12-02T05:07:50Z) - Zero-Order One-Point Estimate with Distributed Stochastic
Gradient-Tracking Technique [23.63073074337495]
本研究では,各エージェントが滑らかで凸な局所目的関数を持つ分散マルチエージェント最適化問題を考える。
分散勾配追跡法を,勾配推定のない帯域設定に拡張する。
近似ツールを用いた滑らかで凸な目的のための新しい手法の収束解析を行う。
論文 参考訳(メタデータ) (2022-10-11T17:04:45Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳(メタデータ) (2022-06-22T02:42:04Z) - Push--Pull with Device Sampling [8.344476599818826]
複数のエージェントが協力して、基礎となる通信グラフを交換することで、ローカル関数の平均を最小化する分散最適化問題を考察する。
ネットワーク全体の勾配追跡と分散低減を併用したアルゴリズムを提案する。
理論解析により,局所目的関数が強凸である場合,アルゴリズムは線形に収束することを示した。
論文 参考訳(メタデータ) (2022-06-08T18:18:18Z) - Communication-Efficient Stochastic Zeroth-Order Optimization for
Federated Learning [28.65635956111857]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。
FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
論文 参考訳(メタデータ) (2022-01-24T08:56:06Z) - Asynchronous Distributed Reinforcement Learning for LQR Control via
Zeroth-Order Block Coordinate Descent [18.573812178003422]
分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。
これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
論文 参考訳(メタデータ) (2021-07-26T18:11:07Z) - Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。
まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。
そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-25T14:00:18Z) - Tackling the Objective Inconsistency Problem in Heterogeneous Federated
Optimization [93.78811018928583]
本稿では、フェデレートされた異種最適化アルゴリズムの収束性を分析するためのフレームワークを提供する。
我々は,高速な誤差収束を保ちながら,客観的な矛盾を解消する正規化平均化手法であるFedNovaを提案する。
論文 参考訳(メタデータ) (2020-07-15T05:01:23Z) - Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。
一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文 参考訳(メタデータ) (2020-07-13T17:39:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。