論文の概要: A Fully First-Order Layer for Differentiable Optimization

• arxiv url: http://arxiv.org/abs/2512.02494v1
• Date: Tue, 02 Dec 2025 07:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-03 21:04:45.77125
• Title: A Fully First-Order Layer for Differentiable Optimization
• Title（参考訳）: 微分可能最適化のための完全一階層
• Authors: Zihao Zhao, Kai-Chia Mo, Shing-Hei Ho, Brandon Amos, Kai Wang,
• Abstract要約: 異なる最適化レイヤにより、組み込み最適化問題を解決することで、学習システムが決定を下すことができる。 我々は、$too(1)$timeの1次情報のみを用いて近似超越性を計算することができることを示す。
• 参考スコア（独自算出の注目度）: 12.868783495046422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Differentiable optimization layers enable learning systems to make decisions by solving embedded optimization problems. However, computing gradients via implicit differentiation requires solving a linear system with Hessian terms, which is both compute- and memory-intensive. To address this challenge, we propose a novel algorithm that computes the gradient using only first-order information. The key insight is to rewrite the differentiable optimization as a bilevel optimization problem and leverage recent advances in bilevel methods. Specifically, we introduce an active-set Lagrangian hypergradient oracle that avoids Hessian evaluations and provides finite-time, non-asymptotic approximation guarantees. We show that an approximate hypergradient can be computed using only first-order information in $\tilde{\oo}(1)$ time, leading to an overall complexity of $\tilde{\oo}(δ^{-1}ε^{-3})$ for constrained bilevel optimization, which matches the best known rate for non-smooth non-convex optimization. Furthermore, we release an open-source Python library that can be easily adapted from existing solvers. Our code is available here: https://github.com/guaguakai/FFOLayer.
• Abstract（参考訳）: 異なる最適化レイヤにより、組み込み最適化問題を解決することで、学習システムが決定を下すことができる。 しかし、暗黙の微分による計算勾配は、計算とメモリ集約の両方のヘッセン項で線形系を解く必要がある。 この課題に対処するために,一階情報のみを用いて勾配を計算するアルゴリズムを提案する。 鍵となる洞察は、二段階最適化問題として微分可能最適化を書き換え、二段階最適化における最近の進歩を活用することである。 具体的には、ヘッセン評価を回避し、有限時間非漸近近似を保証する能動集合ラグランジアン過次オラクルを導入する。 近似ハイパーグラディエントを$\tilde{\oo}(1)$timeの1次情報のみを用いて計算できることを示し、非滑らかな非凸最適化において最もよく知られた速度の制約付き双レベル最適化に対して$\tilde{\oo}(δ^{-1}ε^{-3})$の全体的な複雑さをもたらすことを示した。 さらに、既存のソルバから容易に適応できるオープンソースのPythonライブラリもリリースしています。 私たちのコードは、https://github.com/guaguakai/FFOLayer.comで入手可能です。

関連論文リスト

• Improved Complexity for Smooth Nonconvex Optimization: A Two-Level Online Learning Approach with Quasi-Newton Methods [18.47705532817026]
  本研究では,スムーズな関数を持つ$epsilon$firstorder stationary point (FOSP) を求める問題について検討する。 本稿では,このオンライン学習問題を解決するために,新しい楽観的な準勾配近似法を提案する。
  論文  参考訳（メタデータ） (2024-12-03T05:20:05Z)
• Accelerated Gradient Algorithms with Adaptive Subspace Search for Instance-Faster Optimization [6.896308995955336]
  グラディエントベースのミニマックス最適アルゴリズムは、継続的最適化と機械学習の開発を促進する。 本稿では,勾配に基づくアルゴリズムの設計と解析を行う新しい手法を機械学習に直接応用する。
  論文  参考訳（メタデータ） (2023-12-06T01:16:10Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [61.98523595657983]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• The Curse of Unrolling: Rate of Differentiating Through Optimization [35.327233435055305]
  未分化は反復解法を用いて解を近似し、計算経路を通して解を微分する。 我々は,(1)高速収束につながる大きな学習率を選択することができるが,アルゴリズムが任意に長いバーンインフェーズを持つことを受け入れるか,あるいは(2)即時収束につながるより少ない学習率を選択するかのどちらかを示す。
  論文  参考訳（メタデータ） (2022-09-27T09:27:29Z)
• Efficiently Escaping Saddle Points in Bilevel Optimization [48.925688192913]
  バイレベル最適化は、機械学習における問題の1つだ。 双レベル最適化の最近の進歩は、最初の基本的非適応的多段階解析に収束する。
  論文  参考訳（メタデータ） (2022-02-08T07:10:06Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。