論文の概要: An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning

• arxiv url: http://arxiv.org/abs/2308.10098v3
• Date: Sat, 16 Nov 2024 14:11:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:26:48.906817
• Title: An adaptively inexact first-order method for bilevel optimization with application to hyperparameter learning
• Title（参考訳）: 適応的不正確な二段階最適化法とハイパーパラメータ学習への応用
• Authors: Mohammad Sadegh Salehi, Subhadip Mukherjee, Lindon Roberts, Matthias J. Ehrhardt,
• Abstract要約: 提案アルゴリズムは,実行前に手動で選択するよりも,必要な精度を動的に決定する。 我々の実験は、画像とデータサイエンスにおける様々な問題に対して、我々のアプローチの効率性と実現可能性を示すものである。
• 参考スコア（独自算出の注目度）: 2.247833425312671
• License:
• Abstract: Various tasks in data science are modeled utilizing the variational regularization approach, where manually selecting regularization parameters presents a challenge. The difficulty gets exacerbated when employing regularizers involving a large number of hyperparameters. To overcome this challenge, bilevel learning can be employed to learn such parameters from data. However, neither exact function values nor exact gradients with respect to the hyperparameters are attainable, necessitating methods that only rely on inexact evaluation of such quantities. State-of-the-art inexact gradient-based methods a priori select a sequence of the required accuracies and cannot identify an appropriate step size since the Lipschitz constant of the hypergradient is unknown. In this work, we propose an algorithm with backtracking line search that only relies on inexact function evaluations and hypergradients and show convergence to a stationary point. Furthermore, the proposed algorithm determines the required accuracy dynamically rather than manually selected before running it. Our numerical experiments demonstrate the efficiency and feasibility of our approach for hyperparameter estimation on a range of relevant problems in imaging and data science such as total variation and field of experts denoising and multinomial logistic regression. Particularly, the results show that the algorithm is robust to its own hyperparameters such as the initial accuracies and step size.
• Abstract（参考訳）: データサイエンスにおける様々なタスクは、変分正規化アプローチを用いてモデル化され、手動で正規化パラメータを選択することが課題となる。 多数のハイパーパラメータを含む正規化器を採用すると、困難が増す。 この課題を克服するために、データからそのようなパラメータを学習するためにバイレベル学習を用いることができる。 しかし、高パラメータに関する正確な関数値や正確な勾配は達成不可能であり、そのような量の不正確な評価のみに依存する方法が必要である。 State-of-the-art inexact gradient-based method a priori select a sequence of the required accuracies and cannot identified a appropriate step size because the Lipschitz constant of the hypergradient。 本研究では,不正確な関数評価と過次関数のみに依存するバックトラックライン探索を用いたアルゴリズムを提案し,定常点への収束を示す。 さらに,提案アルゴリズムは,実行前に手動で選択するよりも,必要な精度を動的に決定する。 数値解析実験により, 画像・データ科学における様々な問題に対して, マルチノミカルロジスティック回帰法とマルチノミカルロジスティック回帰法を応用し, ハイパーパラメータ推定法の有効性を実証した。 特に、アルゴリズムは初期精度やステップサイズなど、自身のハイパーパラメータに対して堅牢であることを示す。

関連論文リスト

• Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning [17.962860438133312]
  決定中心学習(DFL)パラダイムは、例えば後悔など、タスク損失を直接最小化するためのトレーニングによって制限を克服する。 そこで我々は,このような仮定をせずに,任意のタスク損失に作用するスコア関数推定とスムースに組み合わせた代替手法を提案する。 実験の結果、一般的に多くのエポックを必要とするが、専門的な手法と同等であり、特にソリューションの品質、スケーラビリティ、あるいはその両方の観点から、制約の不確実性に悩む問題に対して、特にうまく機能していることが示されている。
  論文  参考訳（メタデータ） (2023-07-11T12:32:13Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
  暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。 計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-11T23:54:27Z)
• Scalable Gaussian Process Hyperparameter Optimization via Coverage Regularization [0.0]
  本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。 数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
  論文  参考訳（メタデータ） (2022-09-22T19:23:37Z)
• Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications [71.23286211775084]
  未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。 提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。 実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-06T17:10:01Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)
• Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
  本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。 そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。 数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
  論文  参考訳（メタデータ） (2020-04-06T15:54:03Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。