論文の概要: Smooth over-parameterized solvers for non-smooth structured optimization
- arxiv url: http://arxiv.org/abs/2205.01385v1
- Date: Tue, 3 May 2022 09:23:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 13:39:54.295325
- Title: Smooth over-parameterized solvers for non-smooth structured optimization
- Title（参考訳）: 非スムース構造最適化のための滑らかなオーバーパラメータソルバ
- Authors: Clarice Poon and Gabriel Peyr\'e
- Abstract要約: 非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
- 参考スコア（独自算出の注目度）: 3.756550107432323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-smooth optimization is a core ingredient of many imaging or machine
learning pipelines. Non-smoothness encodes structural constraints on the
solutions, such as sparsity, group sparsity, low-rank and sharp edges. It is
also the basis for the definition of robust loss functions and scale-free
functionals such as square-root Lasso. Standard approaches to deal with
non-smoothness leverage either proximal splitting or coordinate descent. These
approaches are effective but usually require parameter tuning, preconditioning
or some sort of support pruning. In this work, we advocate and study a
different route, which operates a non-convex but smooth over-parametrization of
the underlying non-smooth optimization problems. This generalizes quadratic
variational forms that are at the heart of the popular Iterative Reweighted
Least Squares (IRLS). Our main theoretical contribution connects gradient
descent on this reformulation to a mirror descent flow with a varying Hessian
metric. This analysis is crucial to derive convergence bounds that are
dimension-free. This explains the efficiency of the method when using small
grid sizes in imaging. Our main algorithmic contribution is to apply the
Variable Projection (VarPro) method which defines a new formulation by
explicitly minimizing over part of the variables. This leads to a better
conditioning of the minimized functional and improves the convergence of simple
but very efficient gradient-based methods, for instance quasi-Newton solvers.
We exemplify the use of this new solver for the resolution of regularized
regression problems for inverse problems and supervised learning, including
total variation prior and non-convex regularizers.
- Abstract（参考訳）: 非滑らかな最適化は多くのイメージングや機械学習パイプラインの中核的な要素である。
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランク、鋭いエッジなどの解の構造的制約を符号化する。
これはまた、ロバスト損失関数や平方根ラッソのようなスケールフリー函数の定義の基礎でもある。
非滑らか性を扱う標準的なアプローチは、近位分裂または座標降下を利用する。
これらのアプローチは効果的だが、通常はパラメータチューニング、プレコンディショニング、あるいはある種のサポートプルーニングを必要とする。
本研究では, 基礎となる非スムース最適化問題の非凸だが滑らかな超パラメータ化を行う, 異なる経路を提唱し, 検討する。
これは、人気のある反復的再重み付け最小平方形(irls)の中心にある二次変分形式を一般化する。
我々の主な理論的貢献は、この改質の勾配降下と、ヘッセン計量の異なるミラー降下流を結びつけることである。
この解析は次元のない収束境界を導出するために重要である。
これは、イメージングにおいて小さなグリッドサイズを使用する場合の方法の効率を説明する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する可変射影法(VarPro)を適用することである。
これにより最小化関数の条件付けが向上し、例えば準ニュートン解法のような単純だが非常に効率的な勾配法が収束する。
我々は,逆問題や教師付き学習における正規化回帰問題の解法として,この新たな解法を用いることを実証する。
関連論文リスト
- Gradient-free neural topology optimization [0.0]
勾配のないアルゴリズムは勾配に基づくアルゴリズムと比較して多くの繰り返しを収束させる必要がある。
これにより、反復1回あたりの計算コストとこれらの問題の高次元性のため、トポロジ最適化では実現不可能となった。
我々は,潜時空間における設計を最適化する場合に,少なくとも1桁の繰り返し回数の減少につながる事前学習型ニューラルリパラメータ化戦略を提案する。
論文 参考訳（メタデータ） (2024-03-07T23:00:49Z) - Constrained Optimization via Exact Augmented Lagrangian and Randomized
Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。
ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-05-28T06:33:37Z) - Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。
まず、この方法はスティーフェル多様体に拡張される。
また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
論文 参考訳（メタデータ） (2023-03-29T07:36:54Z) - A framework for bilevel optimization that enables stochastic and global
variance reduction algorithms [17.12280360174073]
双レベル最適化は、他の関数のarg最小値を含む値関数を最小化する問題である。
本稿では, 内部問題の解, 線形系の解, 主変数を同時に発展させる新しい枠組みを提案する。
我々のフレームワークにおけるSAGAアルゴリズムの適応であるSABAは$O(frac1T)$収束率を持ち、Polyak-Lojasciewicz仮定の下で線形収束を達成することを示した。
論文 参考訳（メタデータ） (2022-01-31T18:17:25Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳（メタデータ） (2021-11-01T15:43:36Z) - Smooth Bilevel Programming for Sparse Regularization [5.177947445379688]
反復再重み付き最小二乗法(IRLS)は、機械学習における空間的回帰問題を解くための一般的な手法である。
両レベルスキームが組み合わさって、IRLSの驚くほど再パラメータ化が、いかにスパーシティの上位化を実現するかを示す。
論文 参考訳（メタデータ） (2021-06-02T19:18:22Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax
Problems [26.24895953952318]
我々は,非ガンスミニマックス問題のクラスを解くアルゴリズムを開発した。
また、単一または2つのミニバッチ誘導体でも機能する。
論文 参考訳（メタデータ） (2020-06-27T03:05:18Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳（メタデータ） (2020-02-20T18:43:42Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。