論文の概要: Inexact Derivative-Free Optimization for Bilevel Learning
- arxiv url: http://arxiv.org/abs/2006.12674v2
- Date: Tue, 8 Dec 2020 23:10:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 21:40:00.031754
- Title: Inexact Derivative-Free Optimization for Bilevel Learning
- Title（参考訳）: 2段階学習のための非接触微分自由最適化
- Authors: Matthias J. Ehrhardt, Lindon Roberts
- Abstract要約: 変分正則化技術は数理イメージングの分野で支配的である。
この問題を解決するための一般的な戦略は、これらのパラメータをデータから学習することだ。
上層問題の解法では、下層問題の正確な解にアクセスできると仮定することが一般的であり、実際は不可能である。
本稿では, 厳密な低レベル問題解を必要としない不正確な微分自由最適化アルゴリズムを用いて, これらの問題を解くことを提案する。
- 参考スコア（独自算出の注目度）: 0.27074235008521236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational regularization techniques are dominant in the field of
mathematical imaging. A drawback of these techniques is that they are dependent
on a number of parameters which have to be set by the user. A by now common
strategy to resolve this issue is to learn these parameters from data. While
mathematically appealing this strategy leads to a nested optimization problem
(known as bilevel optimization) which is computationally very difficult to
handle. It is common when solving the upper-level problem to assume access to
exact solutions of the lower-level problem, which is practically infeasible. In
this work we propose to solve these problems using inexact derivative-free
optimization algorithms which never require exact lower-level problem
solutions, but instead assume access to approximate solutions with controllable
accuracy, which is achievable in practice. We prove global convergence and a
worstcase complexity bound for our approach. We test our proposed framework on
ROFdenoising and learning MRI sampling patterns. Dynamically adjusting the
lower-level accuracy yields learned parameters with similar reconstruction
quality as highaccuracy evaluations but with dramatic reductions in
computational work (up to 100 times faster in some cases).
- Abstract（参考訳）: 変分正規化技術は数理イメージングの分野で支配的である。
これらのテクニックの欠点は、ユーザが設定しなければならない多くのパラメータに依存していることだ。
この問題を解決するための一般的な戦略は、これらのパラメータをデータから学習することだ。
この戦略を数学的にアピールする一方で、ネスト最適化問題(二値最適化として知られる)は計算処理が非常に難しい。
上層問題の解決において、下層問題の正確な解にアクセスできると仮定することは、事実上不可能である。
本研究では, 厳密な低レベル問題解を必要としない不正確な微分自由最適化アルゴリズムを用いて, 制御可能な精度で近似解にアクセスできるようにする。
グローバル収束と、アプローチに結びついた最悪の複雑性を証明する。
提案するROFデノジングおよびMRIサンプリングパターンの学習フレームワークをテストする。
低レベルの精度を動的に調整すると、学習パラメータは高精度な評価と同様の再現品質を持つが、計算作業が劇的に削減される(場合によっては最大100倍高速になる)。
関連論文リスト
- Learning to Optimize for Mixed-Integer Non-linear Programming [20.469394148261838]
混合整数非NLPプログラム(MINLP)はエネルギーシステムや輸送など様々な領域で発生するが、解決は困難である。
機械学習の最近の進歩は、最適化のための学習として知られる領域において、顕著な成功をもたらしている。
勾配を保ちながら整数出力を生成する2つの異なる補正層を提案する。
論文 参考訳（メタデータ） (2024-10-14T20:14:39Z) - Contextual Stochastic Bilevel Optimization [50.36775806399861]
文脈情報と上層変数の期待を最小化する2レベル最適化フレームワークCSBOを導入する。
メタラーニング、パーソナライズドラーニング、エンド・ツー・エンドラーニング、Wassersteinはサイド情報(WDRO-SI)を分散的に最適化している。
論文 参考訳（メタデータ） (2023-10-27T23:24:37Z) - Analyzing Inexact Hypergradients for Bilevel Learning [0.09669369645900441]
暗黙の関数定理と自動微分/バックプロパゲーションに基づいて既存の手法を一般化する過次計算のための統一的なフレームワークを提案する。
計算結果から,高次アルゴリズムの選択は低次解法の選択と同等に重要であることが明らかとなった。
論文 参考訳（メタデータ） (2023-01-11T23:54:27Z) - A Globally Convergent Gradient-based Bilevel Hyperparameter Optimization
Method [0.0]
ハイパーパラメータ最適化問題の解法として,勾配に基づく双レベル法を提案する。
提案手法は, より低い計算量に収束し, テストセットをより良く一般化するモデルに導かれることを示す。
論文 参考訳（メタデータ） (2022-08-25T14:25:16Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Enhanced Bilevel Optimization via Bregman Distance [104.96004056928474]
本稿では,Bregman Bregman関数に基づく二段階最適化手法を提案する。
また,分散還元法によるSBiO-BreD法(ASBiO-BreD)の高速化版も提案する。
論文 参考訳（メタデータ） (2021-07-26T16:18:43Z) - BiAdam: Fast Adaptive Bilevel Optimization Methods [104.96004056928474]
バイレベル最適化は多くの応用のために機械学習への関心が高まっている。
制約付き最適化と制約なし最適化の両方に有用な分析フレームワークを提供する。
論文 参考訳（メタデータ） (2021-06-21T20:16:40Z) - Solving weakly supervised regression problem using low-rank manifold
regularization [77.34726150561087]
我々は弱い教師付き回帰問題を解く。
weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。
数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
論文 参考訳（メタデータ） (2021-04-13T23:21:01Z) - Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。
本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。
結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-02-22T04:51:44Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。