論文の概要: An Adaptively Inexact Method for Bilevel Learning Using Primal-Dual Style Differentiation

• arxiv url: http://arxiv.org/abs/2412.06436v1
• Date: Mon, 09 Dec 2024 12:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:52:48.523406
• Title: An Adaptively Inexact Method for Bilevel Learning Using Primal-Dual Style Differentiation
• Title（参考訳）: プリマルダイアルスタイルの差分を用いた二段階学習の適応的不コンパクト化法
• Authors: Lea Bogensperger, Matthias J. Ehrhardt, Thomas Pock, Mohammad Sadegh Salehi, Hok Shing Wong,
• Abstract要約: 線形演算子を学習するための二段階学習フレームワークを検討する。 このフレームワークでは、学習可能なパラメータは、凸最適化問題の解法にも依存する損失関数によって最適化される。
• 参考スコア（独自算出の注目度）: 8.107030227028815
• License:
• Abstract: We consider a bilevel learning framework for learning linear operators. In this framework, the learnable parameters are optimized via a loss function that also depends on the minimizer of a convex optimization problem (denoted lower-level problem). We utilize an iterative algorithm called `piggyback' to compute the gradient of the loss and minimizer of the lower-level problem. Given that the lower-level problem is solved numerically, the loss function and thus its gradient can only be computed inexactly. To estimate the accuracy of the computed hypergradient, we derive an a-posteriori error bound, which provides guides for setting the tolerance for the lower-level problem, as well as the piggyback algorithm. To efficiently solve the upper-level optimization, we also propose an adaptive method for choosing a suitable step-size. To illustrate the proposed method, we consider a few learned regularizer problems, such as training an input-convex neural network.
• Abstract（参考訳）: 線形演算子を学習するための二段階学習フレームワークを検討する。 このフレームワークでは、学習可能なパラメータは、凸最適化問題の最小化にも依存する損失関数によって最適化される。 我々は'piggyback'と呼ばれる反復アルゴリズムを用いて、低レベルの問題の損失と最小化の勾配を計算する。 低レベルの問題を数値的に解くと、損失関数とその勾配は不正確にしか計算できない。 計算された過勾配の精度を推定するために、下層問題に対する耐性の設定のためのガイドとなるa-posterioriエラーバウンドと、ピギーバックアルゴリズムを導出する。 また,上段最適化を効率的に解くために,適切なステップサイズを選択する適応手法を提案する。 提案手法を説明するために,入力凸ニューラルネットワークのトレーニングなど,学習済みの正規化問題について考察する。

関連論文リスト

• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
  暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。 計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-11T23:54:27Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• A framework for bilevel optimization that enables stochastic and global variance reduction algorithms [21.67411847762289]
  双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。 本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。 我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAが$O(frac1T)$収束率を持つことを示す。
  論文  参考訳（メタデータ） (2022-01-31T18:17:25Z)
• Bilevel learning of l1-regularizers with closed-form gradients(BLORC) [8.138650738423722]
  本稿では,スパーシティー促進型正規化器の教師あり学習法を提案する。 これらのパラメータは、基底真理信号と測定ペアのトレーニングセットにおける再構成の平均2乗誤差を最小限に抑えるために学習される。
  論文  参考訳（メタデータ） (2021-11-21T17:01:29Z)
• Inexact bilevel stochastic gradient methods for constrained and unconstrained lower-level problems [0.0]
  2段階の定式探索最適化は多くの機械学習の文脈で有効になっている。 2階微分を必要としない新しい低ランク二階勾配法が開発されている。
  論文  参考訳（メタデータ） (2021-10-01T18:20:14Z)
• Doubly Adaptive Scaled Algorithm for Machine Learning Using Second-Order Information [37.70729542263343]
  本稿では,大規模機械学習問題に対する適応最適化アルゴリズムを提案する。 我々の手法は方向とステップサイズを動的に適応させる。 我々の手法は退屈なチューニング率チューニングを必要としない。
  論文  参考訳（メタデータ） (2021-09-11T06:39:50Z)
• BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
  バイレベル最適化は多くの応用のために機械学習への関心が高まっている。 制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
  論文  参考訳（メタデータ） (2021-06-21T20:16:40Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。