論文の概要: Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noises

• arxiv url: http://arxiv.org/abs/2509.15543v1
• Date: Fri, 19 Sep 2025 02:51:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.967242
• Title: Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noises
• Title（参考訳）: 重音下における非凸分散確率二値最適化
• Authors: Xinwen Zhang, Yihan Zhang, Hongchang Gao,
• Abstract要約: 既存の分散最適化手法では、低レベル損失関数は強い凸であり、勾配ノイズは有限分散である。 これは、重み付き雑音の下で厳密な理論的保証を持つ最初の分散二レベルアルゴリズムである。
• 参考スコア（独自算出の注目度）: 27.097405340259325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing decentralized stochastic optimization methods assume the lower-level loss function is strongly convex and the stochastic gradient noise has finite variance. These strong assumptions typically are not satisfied in real-world machine learning models. To address these limitations, we develop a novel decentralized stochastic bilevel optimization algorithm for the nonconvex bilevel optimization problem under heavy-tailed noises. Specifically, we develop a normalized stochastic variance-reduced bilevel gradient descent algorithm, which does not rely on any clipping operation. Moreover, we establish its convergence rate by innovatively bounding interdependent gradient sequences under heavy-tailed noises for nonconvex decentralized bilevel optimization problems. As far as we know, this is the first decentralized bilevel optimization algorithm with rigorous theoretical guarantees under heavy-tailed noises. The extensive experimental results confirm the effectiveness of our algorithm in handling heavy-tailed noises.
• Abstract（参考訳）: 既存の分散確率最適化法では、下層損失関数が強く凸であり、確率勾配雑音は有限分散である。 これらの強い仮定は、通常、現実世界の機械学習モデルでは満たされない。 これらの制約に対処するため,重み付き雑音下での非凸二値最適化問題に対して,分散確率二値最適化アルゴリズムを開発した。 具体的には、クリッピング操作に依存しない正規化確率分散還元二値勾配勾配アルゴリズムを開発する。 さらに,非凸分散二値最適化問題に対する重み付き雑音下での相互依存勾配列を革新的に束縛することで収束率を確立する。 われわれの知る限り、これは重み付き雑音の下で厳密な理論的保証を持つ最初の分散二段階最適化アルゴリズムである。 広範に実験した結果,重み付き雑音の処理におけるアルゴリズムの有効性が確認された。

関連論文リスト

• Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization [31.032959636901086]
  階層最適化問題に対する新しい適応アルゴリズムを提案する。 我々のアルゴリズムは、ノイズレベルの事前の知識なしに、鋭い収束率を達成する。 合成および深層学習タスクの実験は,提案アルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2025-09-18T20:17:18Z)
• Bilevel Learning with Inexact Stochastic Gradients [2.247833425312671]
  バイレベル学習は、機械学習、逆問題、イメージングアプリケーションで有名になった。 これらの問題の大規模な性質は、不正確な計算効率の手法の開発に繋がった。
  論文  参考訳（メタデータ） (2024-12-16T18:18:47Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。