論文の概要: Federated stochastic bilevel optimization with fully first-order gradients

• arxiv url: http://arxiv.org/abs/2609.16350v1
• Date: Mon, 14 Sep 2026 21:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.242977
• Title: Federated stochastic bilevel optimization with fully first-order gradients
• Title（参考訳）: 完全一階勾配を用いたフェデレーション確率的二値最適化
• Abstract要約: フェデレーション行列の2レベル最適化は、機械学習に広く応用されているため、近年積極的に研究されている。 既存のフェデレートされた双レベル最適化アルゴリズムは、二階ヘッセン行列とヤコビ行列の計算を必要とする。 本稿では,一階オーラクルのみに依存する新しいフェデレーション収束分散誘導二段降下アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 57.1147486991903
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated stochastic bilevel optimization has been actively studied in recent years due to its widespread applications in machine learning. However, most existing federated stochastic bilevel optimization algorithms require the computation of second-order Hessian and Jacobian matrices, which leads to longer running times in practice. To address these challenges, we propose a novel federated stochastic variance-reduced bilevel gradient descent algorithm that relies solely on first-order oracles. Specifically, our approach does not require the computation of second-order Hessian and Jacobian matrices, significantly reducing running time. Furthermore, we introduce a novel learning rate mechanism, i.e., a constant single-timescale learning rate, to coordinate the update of different variables. We also present a new strategy to establish the convergence rate of our algorithm. Finally, the extensive experimental results confirm the efficacy of our proposed algorithm.
• Abstract（参考訳）: フェデレートされた確率的二レベル最適化は、機械学習に広く応用されているため、近年積極的に研究されている。 しかし、既存のフェデレートされた確率的二段階最適化アルゴリズムは、2階ヘッセン行列とヤコビ行列の計算を必要とするため、実際の実行時間が長くなる。 これらの課題に対処するために,一階オーラクルのみにのみ依存する,連立確率分散還元二階勾配勾配アルゴリズムを提案する。 具体的には,2次ヘッセン行列とヤコビ行列の計算は不要であり,実行時間を著しく短縮する。 さらに,異なる変数の更新を調整するために,新しい学習率機構,すなわち,一定の単一時間スケールの学習率を導入する。 また,アルゴリズムの収束率を確立するための新たな戦略を提案する。 最後に,提案アルゴリズムの有効性を実験的に検証した。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis [17.596465452814883]
  現在の双レベル最適化アルゴリズムは、上層関数の反復が非有界な滑らかであると仮定する。 最近の研究では、あるニューラルネットワークがそのような非有界な滑らかさを示すことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T20:28:15Z)
• Ordering for Non-Replacement SGD [7.11967773739707]
  我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。 我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。 さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
  論文  参考訳（メタデータ） (2023-06-28T00:46:58Z)
• Decentralized Stochastic Bilevel Optimization with Improved per-Iteration Complexity [17.870370505179014]
  本稿では,一階オラクル,ヘッセンベクター,ヤコビアンベクターのみを必要とする分散二段階最適化(DSBO)アルゴリズムを提案する。 このアルゴリズムの利点は、全ヘッセン行列とヤコビ行列を推定する必要がなく、それによってイット毎の複雑性が向上するということである。
  論文  参考訳（メタデータ） (2022-10-23T20:06:05Z)
• Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction [104.41634756395545]
  具体的には、まず、決定論的勾配に基づくアルゴリズムであるFedBiOを提案する。 FedBiOの複雑性は$O(epsilon-1.5)$である。 本アルゴリズムは数値実験において,他のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-03T16:40:22Z)
• A Fully Single Loop Algorithm for Bilevel Optimization without Hessian Inverse [121.54116938140754]
  両レベル最適化問題に対して,Hessian 逆フリーな完全単一ループアルゴリズムを提案する。 我々のアルゴリズムは$O(epsilon-2)$と収束することを示す。
  論文  参考訳（メタデータ） (2021-12-09T02:27:52Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。