論文の概要: Dynamic Bilevel Learning with Inexact Line Search
- arxiv url: http://arxiv.org/abs/2308.10098v1
- Date: Sat, 19 Aug 2023 19:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 17:47:32.112770
- Title: Dynamic Bilevel Learning with Inexact Line Search
- Title（参考訳）: inexact line searchを用いた動的2レベル学習
- Authors: Mohammad Sadegh Salehi, Subhadip Mukherjee, Lindon Roberts, Matthias
J. Ehrhardt
- Abstract要約: イメージングとデータサイエンスにおいて、手動で正規化パラメータを設定することは、非常に難しい課題である。
本稿では,不正確な関数評価と過次性を含む,既知収束不正確なバックトラックライン探索を提案する。
- 参考スコア（独自算出の注目度）: 2.455596533901848
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In various domains within imaging and data science, particularly when
addressing tasks modeled utilizing the variational regularization approach,
manually configuring regularization parameters presents a formidable challenge.
The difficulty intensifies when employing regularizers involving a large number
of hyperparameters. To overcome this challenge, bilevel learning is employed to
learn suitable hyperparameters. However, due to the use of numerical solvers,
the exact gradient with respect to the hyperparameters is unattainable,
necessitating the use of methods relying on approximate gradients.
State-of-the-art inexact methods a priori select a decreasing summable sequence
of the required accuracy and only assure convergence given a sufficiently small
fixed step size. Despite this, challenges persist in determining the Lipschitz
constant of the hypergradient and identifying an appropriate fixed step size.
Conversely, computing exact function values is not feasible, impeding the use
of line search. In this work, we introduce a provably convergent inexact
backtracking line search involving inexact function evaluations and
hypergradients. We show convergence to a stationary point of the loss with
respect to hyperparameters. Additionally, we propose an algorithm to determine
the required accuracy dynamically. Our numerical experiments demonstrate the
efficiency and feasibility of our approach for hyperparameter estimation in
variational regularization problems, alongside its robustness in terms of the
initial accuracy and step size choices.
- Abstract（参考訳）: 画像とデータサイエンスの様々な領域において、特に変分正規化アプローチを用いてモデル化されたタスクに対処する場合、手動で正規化パラメータを設定することは、非常に難しい課題である。
この難易度は、多数のハイパーパラメータを含む正規化器を使用するときに増大する。
この課題を克服するために、二段階学習を用いて適切なハイパーパラメータを学習する。
しかし、数値解法を用いることにより、ハイパーパラメータに関する正確な勾配は達成不可能であり、近似勾配に依存する手法を用いる必要がある。
State-of-the-art inexact method a priori は必要な精度の総和シーケンスを減らし、十分に小さな固定ステップサイズが与えられた場合にのみ収束を保証する。
それにもかかわらず、過勾配のリプシッツ定数を定め、適切な固定ステップサイズを特定することには課題が続いている。
逆に、正確な関数値の計算は不可能であり、行探索の使用を妨げる。
そこで本研究では,不正確な関数評価と過次関数を含む,確実に収束する不正確なバックトラックライン探索を提案する。
我々は超パラメータに関して損失の定常点への収束を示す。
さらに,必要な精度を動的に決定するアルゴリズムを提案する。
数値実験により,変動正規化問題におけるハイパーパラメータ推定法の有効性と,初期精度とステップサイズ選択のロバスト性が実証された。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Score Function Gradient Estimation to Widen the Applicability of Decision-Focused Learning [17.962860438133312]
決定中心学習(DFL)パラダイムは、例えば後悔など、タスク損失を直接最小化するためのトレーニングによって制限を克服する。
そこで我々は,このような仮定をせずに,任意のタスク損失に作用するスコア関数推定とスムースに組み合わせた代替手法を提案する。
実験の結果、一般的に多くのエポックを必要とするが、専門的な手法と同等であり、特にソリューションの品質、スケーラビリティ、あるいはその両方の観点から、制約の不確実性に悩む問題に対して、特にうまく機能していることが示されている。
論文 参考訳（メタデータ） (2023-07-11T12:32:13Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。
計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
論文 参考訳（メタデータ） (2023-01-11T23:54:27Z) - Scalable Gaussian Process Hyperparameter Optimization via Coverage
Regularization [0.0]
本稿では,予測の不確かさの堅牢性を改善するために,Maternカーネルのスムーズさと長大パラメータを推定するアルゴリズムを提案する。
数値実験で示すように,高いスケーラビリティを維持しつつ,残余可能性よりも改善されたUQを実現する。
論文 参考訳（メタデータ） (2022-09-22T19:23:37Z) - Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for
Safety-Critical Applications [71.23286211775084]
未知のハイパーパラメータを持つ設定において、ロバストなガウス過程の均一なエラー境界を導入する。
提案手法はハイパーパラメータの空間における信頼領域を計算し,モデル誤差に対する確率的上限を求める。
実験により、バニラ法やベイズ法よりもバニラ法の方がはるかに優れていることが示された。
論文 参考訳（メタデータ） (2021-09-06T17:10:01Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Online Hyperparameter Search Interleaved with Proximal Parameter Updates [9.543667840503739]
本研究では,近似勾配法の構造に依存する手法を開発し,スムーズなコスト関数を必要としない。
そのような方法は、Leave-one-out (LOO)-validated LassoおよびGroup Lassoに適用される。
数値実験により,提案手法の収束度をLOO検証誤差曲線の局所最適値に相関させる。
論文 参考訳（メタデータ） (2020-04-06T15:54:03Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。