論文の概要: A stochastic gradient method for trilevel optimization

• arxiv url: http://arxiv.org/abs/2505.06805v1
• Date: Sun, 11 May 2025 01:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.048942
• Title: A stochastic gradient method for trilevel optimization
• Title（参考訳）: 三レベル最適化のための確率勾配法
• Authors: Tommaso Giovannelli, Griffin Dean Kent, Luis Nunes Vicente,
• Abstract要約: 本稿では,制約のない三段階最適化問題の解法として,初めて勾配勾配降下法を提案する。 我々は三次随伴勾配のすべての形の不コンパクト性をカバーする収束理論を提供する。 また,超対向的チューニングのための合成三レベル問題と三レベル定式化の両方に関する数値結果を提供することにより,本手法の可能性を実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the success that the field of bilevel optimization has seen in recent years, similar methodologies have started being applied to solving more difficult applications that arise in trilevel optimization. At the helm of these applications are new machine learning formulations that have been proposed in the trilevel context and, as a result, efficient and theoretically sound stochastic methods are required. In this work, we propose the first-ever stochastic gradient descent method for solving unconstrained trilevel optimization problems and provide a convergence theory that covers all forms of inexactness of the trilevel adjoint gradient, such as the inexact solutions of the middle-level and lower-level problems, inexact computation of the trilevel adjoint formula, and noisy estimates of the gradients, Hessians, Jacobians, and tensors of third-order derivatives involved. We also demonstrate the promise of our approach by providing numerical results on both synthetic trilevel problems and trilevel formulations for hyperparameter adversarial tuning.
• Abstract（参考訳）: 近年、二段階最適化の分野が成功し、類似の手法が三段階最適化で生じるより難しい問題の解決に応用され始めている。 これらの応用の推進力は、三段階の文脈で提案された新しい機械学習の定式化であり、その結果、効率的で理論的に確率的な方法が要求される。 本研究では、制約のない三階最適化問題を解くための最初の確率勾配降下法を提案し、中級および下級問題の不正確な解、三階随伴公式の不正確な計算、および関連する三階微分の勾配、ヘシアン、ヤコビアン、テンソルのノイズ推定など、三階随伴勾配のすべての不コンパクト性をカバーする収束理論を提案する。 また, 合成三レベル問題と超パラメータ逆チューニングのための三レベル定式化の両方について, 数値計算結果を提供することにより, 提案手法の可能性を実証する。

関連論文リスト

• A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
  拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。 従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 我々はこの問題を生成的二段階最適化問題として定式化する。 従来の2段階法と拡散過程の非互換性を克服する。
  論文  参考訳（メタデータ） (2025-02-12T21:44:06Z)
• qNBO: quasi-Newton Meets Bilevel Optimization [26.0555315825777]
  階層的な学習タスクにおける課題に対処するバイレベル最適化は、機械学習に大きな関心を集めている。 我々はこれらの計算課題に協調的に対処するための一般的な枠組みを導入する。 具体的には、準ニュートンアルゴリズムを利用して、逆ヘッセンベクトル積を効率的に近似しながら、下層問題の解法を高速化する。
  論文  参考訳（メタデータ） (2025-02-03T05:36:45Z)
• Bilevel Learning with Inexact Stochastic Gradients [2.247833425312671]
  バイレベル学習は、機械学習、逆問題、イメージングアプリケーションで有名になった。 これらの問題の大規模な性質は、不正確な計算効率の手法の開発に繋がった。
  論文  参考訳（メタデータ） (2024-12-16T18:18:47Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Efficient Gradient Approximation Method for Constrained Bilevel Optimization [2.0305676256390934]
  大規模高次元データを用いたバイレベル最適化が開発されている。 本稿では凸と微分不可能な近似を伴う制約付き二値問題について考察する。
  論文  参考訳（メタデータ） (2023-02-03T19:34:56Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems [0.0]
  2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。 2階微分を必要としない新しい低ランク二階勾配法が開発されている。
  論文  参考訳（メタデータ） (2021-10-01T18:20:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。