論文の概要: On Optimal Regularization Parameters via Bilevel Learning
- arxiv url: http://arxiv.org/abs/2305.18394v5
- Date: Mon, 22 Jan 2024 10:44:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 21:36:34.973366
- Title: On Optimal Regularization Parameters via Bilevel Learning
- Title(参考訳): バイレベル学習による最適正規化パラメータについて
- Authors: Matthias J. Ehrhardt, Silvia Gazzola and Sebastian J. Scott
(Department of Mathematical Sciences, University of Bath, Bath, UK)
- Abstract要約: 我々は、既存の理論よりも最適な正則化パラメータの正則性をよりよく特徴づける新しい条件を提供する。
数値計算の結果は, この新条件を, 小型・高次元の両問題に対して検証し, 検討した。
- 参考スコア(独自算出の注目度): 0.06213771671016098
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational regularization is commonly used to solve linear inverse problems,
and involves augmenting a data fidelity by a regularizer. The regularizer is
used to promote a priori information and is weighted by a regularization
parameter. Selection of an appropriate regularization parameter is critical,
with various choices leading to very different reconstructions. Classical
strategies used to determine a suitable parameter value include the discrepancy
principle and the L-curve criterion, and in recent years a supervised machine
learning approach called bilevel learning has been employed. Bilevel learning
is a powerful framework to determine optimal parameters and involves solving a
nested optimization problem. While previous strategies enjoy various
theoretical results, the well-posedness of bilevel learning in this setting is
still an open question. In particular, a necessary property is positivity of
the determined regularization parameter. In this work, we provide a new
condition that better characterizes positivity of optimal regularization
parameters than the existing theory. Numerical results verify and explore this
new condition for both small and high-dimensional problems.
- Abstract(参考訳): 変分正規化は線形逆問題を解くためによく使われ、正規化子によるデータの忠実度を増強する。
正規化器は事前情報を促進するために使用され、正規化パラメータによって重み付けされる。
適切な正規化パラメータの選択は重要であり、様々な選択が全く異なる再構成につながる。
パラメータ値を決定するために使用される古典的戦略には、離散性原理とL曲線基準があり、近年はバイレベル学習と呼ばれる教師付き機械学習アプローチが採用されている。
バイレベル学習は最適なパラメータを決定する強力なフレームワークであり、ネストした最適化問題を解決する。
従来の戦略は様々な理論的な結果を享受するが、この設定における二段階学習の適切さはまだ未解決の問題である。
特に、必要な性質は決定された正規化パラメータの正則性である。
本研究では,既存の理論よりも最適正則化パラメータの正値性をよりよく特徴付ける新しい条件を提案する。
数値的な結果は、この新条件を、小・高次元ともに検証し、探求する。
関連論文リスト
- End-to-End Learning for Fair Multiobjective Optimization Under
Uncertainty [55.04219793298687]
機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。
本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。
この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
論文 参考訳(メタデータ) (2024-02-12T16:33:35Z) - Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳(メタデータ) (2023-12-28T17:50:56Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T01:32:06Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳(メタデータ) (2023-11-08T00:10:21Z) - A Unified Approach to Controlling Implicit Regularization via Mirror
Descent [18.536453909759544]
ミラー降下(MD)は勾配降下(GD)の顕著な一般化である
MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
論文 参考訳(メタデータ) (2023-06-24T03:57:26Z) - A Novel Framework for Policy Mirror Descent with General
Parameterization and Linear Convergence [15.807079236265714]
ミラー降下に基づくポリシー最適化のための新しいフレームワークを提案する。
一般パラメータ化を含む政策次数法に対して線形収束を保証する最初の結果を得る。
論文 参考訳(メタデータ) (2023-01-30T18:21:48Z) - Learning Regularization Parameters of Inverse Problems via Deep Neural
Networks [0.0]
ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。
本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。
ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
論文 参考訳(メタデータ) (2021-04-14T02:38:38Z) - Muddling Labels for Regularization, a novel approach to generalization [0.0]
一般化は機械学習の中心的な問題である。
本稿では,データ分割のない一般化を実現する新しい手法を提案する。
これはモデルが過度に適合する傾向を直接定量化する新しいリスク尺度に基づいている。
論文 参考訳(メタデータ) (2021-02-17T14:02:30Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳(メタデータ) (2020-08-15T15:28:05Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳(メタデータ) (2020-04-14T07:54:53Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳(メタデータ) (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。