論文の概要: On Optimal Regularization Parameters via Bilevel Learning
- arxiv url: http://arxiv.org/abs/2305.18394v3
- Date: Tue, 20 Jun 2023 09:36:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 01:42:14.270564
- Title: On Optimal Regularization Parameters via Bilevel Learning
- Title（参考訳）: バイレベル学習による最適正規化パラメータについて
- Authors: Matthias J. Ehrhardt, Silvia Gazzola and Sebastian J. Scott
(Department of Mathematical Sciences, University of Bath, Bath, UK)
- Abstract要約: 我々は、既存の理論よりも最適な正則化パラメータの正則性をよりよく特徴づける新しい条件を提供する。
数値計算の結果は, この新条件を, 小・大ともに検証し, 検討した。
- 参考スコア（独自算出の注目度）: 0.17398560678845074
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational regularization is commonly used to solve linear inverse problems,
and involves augmenting a data fidelity by a regularizer. The regularizer is
used to promote a priori information, and is weighted by a regularization
parameter. Selection of an appropriate regularization parameter is critical,
with various choices leading to very different reconstructions. Existing
strategies such as the discrepancy principle and L-curve can be used to
determine a suitable parameter value, but in recent years a supervised machine
learning approach called bilevel learning has been employed. Bilevel learning
is a powerful framework to determine optimal parameters, and involves solving a
nested optimisation problem. While previous strategies enjoy various
theoretical results, the well-posedness of bilevel learning in this setting is
still a developing field. One necessary property is positivity of the
determined regularization parameter. In this work, we provide a new condition
that better characterises positivity of optimal regularization parameters than
the existing theory. Numerical results verify and explore this new condition
for both small and large dimensional problems.
- Abstract（参考訳）: 変分正規化は線形逆問題を解くためによく使われ、正規化子によるデータの忠実度を増強する。
正規化器は事前情報を促進するために使用され、正規化パラメータによって重み付けされる。
適切な正規化パラメータの選択は重要であり、様々な選択が全く異なる再構成につながる。
相違原理やL曲線といった既存の戦略を用いて適切なパラメータ値を決定することができるが、近年はバイレベル学習と呼ばれる教師付き機械学習アプローチが採用されている。
バイレベル学習は最適パラメータを決定する強力なフレームワークであり、ネスト最適化問題を解決することを含む。
従来の戦略は様々な理論的な成果を享受するが、この環境における二段階学習はいまだ発展途上である。
1つの必須性質は、決定された正則化パラメータの正則性である。
本研究では,既存の理論よりも最適正則化パラメータの正値性をよりよく特徴付ける新しい条件を提案する。
数値計算により、この新条件を小・大ともに検証・検討する。
関連論文リスト
- Learning Joint Models of Prediction and Optimization [56.04498536842065]
Predict-Then-Thenフレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
本稿では,共同予測モデルを用いて観測可能特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-07T19:52:14Z) - A naive aggregation algorithm for improving generalization in a class of learning problems [0.0]
本稿では,エキスパート・アドバイス・セッティングを用いた一般的な学習問題に対するナイーブ・アグリゲーション・アルゴリズムを提案する。
特に,高次元非線形関数をモデル化するための点推定の学習問題について考察する。
論文 参考訳（メタデータ） (2024-09-06T15:34:17Z) - Optimal Baseline Corrections for Off-Policy Contextual Bandits [61.740094604552475]
オンライン報酬指標の偏りのないオフライン推定を最適化する意思決定ポリシーを学習することを目指している。
学習シナリオにおける同値性に基づく単一のフレームワークを提案する。
我々のフレームワークは、分散最適非バイアス推定器の特徴付けを可能にし、それに対する閉形式解を提供する。
論文 参考訳（メタデータ） (2024-05-09T12:52:22Z) - Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳（メタデータ） (2023-12-28T17:50:56Z) - Predict-Then-Optimize by Proxy: Learning Joint Models of Prediction and
Optimization [59.386153202037086]
Predict-Then-フレームワークは、機械学習モデルを使用して、最適化問題の未知のパラメータを、解決前の機能から予測する。
このアプローチは非効率であり、最適化ステップを通じてバックプロパゲーションのための手作りの、問題固有のルールを必要とする。
本稿では,予測モデルを用いて観測可能な特徴から最適解を直接学習する手法を提案する。
論文 参考訳（メタデータ） (2023-11-22T01:32:06Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization [10.009748368458409]
本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。
提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
論文 参考訳（メタデータ） (2023-07-07T13:06:12Z) - A Novel Framework for Policy Mirror Descent with General
Parameterization and Linear Convergence [15.807079236265714]
ミラー降下に基づくポリシー最適化のための新しいフレームワークを提案する。
一般パラメータ化を含む政策次数法に対して線形収束を保証する最初の結果を得る。
論文 参考訳（メタデータ） (2023-01-30T18:21:48Z) - Learning Regularization Parameters of Inverse Problems via Deep Neural
Networks [0.0]
ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。
本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。
ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
論文 参考訳（メタデータ） (2021-04-14T02:38:38Z) - Muddling Labels for Regularization, a novel approach to generalization [0.0]
一般化は機械学習の中心的な問題である。
本稿では,データ分割のない一般化を実現する新しい手法を提案する。
これはモデルが過度に適合する傾向を直接定量化する新しいリスク尺度に基づいている。
論文 参考訳（メタデータ） (2021-02-17T14:02:30Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。