論文の概要: Smoothed Gradient Method for Nonconvex Federated Stochastic Bilevel Optimization
- arxiv url: http://arxiv.org/abs/2610.05290v1
- Date: Sun, 04 Oct 2026 15:09:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 21:59:07.406759
- Title: Smoothed Gradient Method for Nonconvex Federated Stochastic Bilevel Optimization
- Title（参考訳）: 非凸フェデレーション確率的二値最適化のための滑らかな勾配法
- Abstract要約: 第二次ヘッセン行列とヤコビ行列に付随する計算オーバーヘッドを低減するために、一階法が提案されている。
既存の手法は一般に制限的な仮定を課し、上層および下層問題にまたがる変数に関連する条件数に悩まされる。
本稿では,上位変数と下位変数の学習率を2倍に分離する,非連邦二段階問題の2つのスムーズな解法を提案する。
- 参考スコア（独自算出の注目度）: 23.320303073492198
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, federated stochastic bilevel optimization has attracted increasing attention due to its wide range of applications in machine learning. To reduce the computational overhead associated with second-order Hessian and Jacobian matrices, several first-order methods have been proposed. However, existing methods typically impose restrictive assumptions on the lower-level function, suffer from a strong dependence on the condition number in their convergence rates, and require different learning-rate scales for variables across the upper- and lower-level problems, limiting their practical applicability and complicating hyperparameter tuning. To address these challenges, we propose a stochastic doubly smoothed gradient method for nonconvex federated stochastic bilevel optimization problems, which decouples the learning rates of upper- and lower-level variables and does not require a strongly-convex lower-level loss function. We establish rigorous theoretical guarantees for the proposed algorithm, demonstrating an improved convergence rate of $O(κ^{15/2}/ε^5)$ and a communication complexity of $O(κ^{4}/ε^3)$, where $κ$ denotes the condition number and $ε$ represents the solution accuracy. Notably, these bounds exhibit significantly better dependence on the condition number $κ$ than those of existing methods. Extensive experiments validate the effectiveness of our algorithm.
- Abstract（参考訳）: 近年,機械学習の幅広い応用により,統合確率的二段階最適化が注目されている。
2階ヘッセン行列とヤコビ行列に付随する計算オーバーヘッドを低減するため、いくつかの一階法が提案されている。
しかし、既存の手法は一般に下層関数に制限的な仮定を課し、収束率の条件数に強い依存を被り、上層および下層問題にまたがる変数に対して異なる学習速度尺度を必要とし、その実用性に制限を与え、ハイパーパラメータチューニングを複雑にする。
これらの課題に対処するために,上層および下層変数の学習率を2倍にし,強凸下層損失関数を必要としない非凸フェデレーション確率的二段階最適化問題に対して,確率的2次スムーズな勾配法を提案する。
我々は提案アルゴリズムの厳密な理論的保証を確立し、$O(κ^{15/2}/ε^5)$の収束率と$O(κ^{4}/ε^3)$の通信複雑性を証明し、$κ$は条件数を表し、$ε$は解の精度を表す。
特に、これらの境界は、既存の方法よりも条件数$κ$に大きく依存している。
大規模な実験により,アルゴリズムの有効性が検証された。
関連論文リスト
- Sharper Analysis of Single-Loop Methods for Bilevel Optimization [81.36947969465848]
単一ループ擬似微分 (AID) 法と反復微分 (ITD) 法に対して, よりシャープな収束結果を確立する。
エラーが$mathcalO(2)$であることを証明する。
論文 参考訳（メタデータ） (2026-07-11T11:41:42Z) - Bilevel Optimization with Lower-Level Uniform Convexity: Theory and Algorithm [28.40732302523826]
双レベル最適化は、上位レベルの問題が下位レベルの問題によって制約される階層的なフレームワークである。
既存の二レベル最適化手法は、低レベル関数に対する強い凸性やポリアック・オジャシエヴィチ(PL)条件を仮定する。
両レベル最適化は, 一般凸下層関数に対して本質的に難解であり, 極小過次関数の探索が目的であることを示す。
論文 参考訳（メタデータ） (2026-02-04T03:09:52Z) - Stochastic Momentum Methods for Non-smooth Non-Convex Finite-Sum Coupled Compositional Optimization [68.22688819802622]
我々は、(ほぼ)$レベルのKKTソリューションを見つけるために、$O(/epsilon)$の最先端の複雑さを新たに提案する。
O(/epsilon)$ の(ほぼ) $ レベルの KKT ソリューションを見つけるための技術的複雑さを適用することで、(ほぼ) $ レベルの KKT ソリューションを見つけるための $O(/epsilon)$ の最先端の複雑さを新たに達成する。
論文 参考訳（メタデータ） (2025-06-03T06:31:59Z) - Optimal Hessian/Jacobian-Free Nonconvex-PL Bilevel Optimization [25.438298531555468]
双レベル最適化は、ハイパーラーニング、メタラーニング、強化ラーニングなど、多くの機械学習タスクに広く適用されている。
最適収束$frac1TT(Hessian/BiO法)を軽度条件下で提案する。
バイレベルゲーム超定常数値収束に関するいくつかの実験を行う。
論文 参考訳（メタデータ） (2024-07-25T07:25:06Z) - Adaptive Mirror Descent Bilevel Optimization [25.438298531555468]
非二段階最適化のためのミラー降下に基づく適応的二段階最適化手法のクラスを提案する。
いくつかの条件下でメソッドを解析し、メソッドが高速なイテレーション数を持つことを証明します。
論文 参考訳（メタデータ） (2023-11-08T08:17:09Z) - A Fully First-Order Method for Stochastic Bilevel Optimization [8.663726907303303]
一階勾配オラクルのみが利用できる場合、制約のない二段階最適化問題を考える。
完全一階近似法(F2SA)を提案し,その非漸近収束特性について検討する。
MNISTデータハイパクリーニング実験において,既存の2次手法よりも提案手法の実用性能が優れていることを示す。
論文 参考訳（メタデータ） (2023-01-26T05:34:21Z) - Gradient-Free Methods for Deterministic and Stochastic Nonsmooth
Nonconvex Optimization [94.19177623349947]
非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。
2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。
GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
論文 参考訳（メタデータ） (2022-09-12T06:53:24Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - A Momentum-Assisted Single-Timescale Stochastic Approximation Algorithm
for Bilevel Optimization [112.59170319105971]
問題に対処するための新しいアルゴリズム - Momentum- Single-timescale Approximation (MSTSA) を提案する。
MSTSAでは、低いレベルのサブプロブレムに対する不正確な解決策のため、反復でエラーを制御することができます。
論文 参考訳（メタデータ） (2021-02-15T07:10:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。