Fugu-MT 論文翻訳(概要): On the Convergence of Momentum-Based Algorithms for Federated Stochastic Bilevel Optimization Problems

論文の概要: On the Convergence of Momentum-Based Algorithms for Federated Stochastic Bilevel Optimization Problems

arxiv url: http://arxiv.org/abs/2204.13299v1
Date: Thu, 28 Apr 2022 06:14:21 GMT
ステータス: 処理完了
システム内更新日: 2022-04-29 14:25:02.324848
Title: On the Convergence of Momentum-Based Algorithms for Federated Stochastic Bilevel Optimization Problems
Title（参考訳）: 確率的二値最適化問題に対するモーメントベースアルゴリズムの収束性について
Authors: Hongchang Gao
Abstract要約: 特に,このような問題を最適化するための運動量に基づく2つのアルゴリズムを開発した。我々はこれらの2つのアルゴリズムの収束率を確立し、それらのサンプルと通信の複雑さを提供した。
参考スコア（独自算出の注目度）: 22.988563731766586
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we studied the federated stochastic bilevel optimization problem. In particular, we developed two momentum-based algorithms for optimizing this kind of problem. In addition, we established the convergence rate of these two algorithms, providing their sample and communication complexities. To the best of our knowledge, this is the first work achieving such favorable theoretical results.
Abstract（参考訳）: 本稿では,連立確率二次最適化問題について検討した。特に,この問題を最適化するための運動量に基づくアルゴリズムを2つ開発した。さらに,これら2つのアルゴリズムの収束速度を定め,サンプルと通信の複雑さを明らかにした。私たちの知る限りでは、このような好ましい理論結果を達成するのはこれが初めてです。

関連論文リスト

Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
論文参考訳（メタデータ） (2024-11-07T17:05:31Z)
A Single-Loop Algorithm for Decentralized Bilevel Optimization [11.67135350286933]
そこで本研究では,分散化された二段階最適化を低レベルに凸した問題で解くための新しい単一ループアルゴリズムを提案する。提案手法は,反復毎に2つの行列ベクトル乗算のみを用いることで,過勾配を近似する完全単ループ法である。解析により,提案アルゴリズムは二段階最適化アルゴリズムにおいて最もよく知られた収束率を実現することを示す。
論文参考訳（メタデータ） (2023-11-15T13:29:49Z)
Decentralized Multi-Level Compositional Optimization Algorithms with Level-Independent Convergence Rate [26.676582181833584]
分散化されたマルチレベル最適化は、マルチレベル構造と分散通信のために困難である。マルチレベル構成問題を最適化する2つの新しい分散最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2023-06-06T00:23:28Z)
Communication-Efficient Federated Bilevel Optimization with Local and Global Lower Level Problems [118.00379425831566]
我々はFedBiOAccという通信効率の高いアルゴリズムを提案する。我々は、FedBiOAcc-Localがこの種の問題に対して同じ速度で収束していることを証明する。実験結果から,アルゴリズムの性能が向上した。
論文参考訳（メタデータ） (2023-02-13T21:28:53Z)
On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
バイレベル最適化は、幅広い機械学習モデルに適用されている。既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
論文参考訳（メタデータ） (2022-06-30T05:29:52Z)
Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
論文参考訳（メタデータ） (2021-11-29T15:10:09Z)
Lower Bounds and Optimal Algorithms for Smooth and Strongly Convex Decentralized Optimization Over Time-Varying Networks [79.16773494166644]
通信ネットワークのノード間を分散的に保存するスムーズで強い凸関数の和を最小化するタスクについて検討する。我々は、これらの下位境界を達成するための2つの最適アルゴリズムを設計する。我々は,既存の最先端手法と実験的な比較を行うことにより,これらのアルゴリズムの理論的効率を裏付ける。
論文参考訳（メタデータ） (2021-06-08T15:54:44Z)
Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。