論文の概要: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- arxiv url: http://arxiv.org/abs/2307.03571v2
- Date: Tue, 8 Aug 2023 16:05:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:23:32.583173
- Title: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- Title(参考訳): エッジの平滑化: Hadamard overparametrization を用いたスパース正規化におけるスムース最適化のための汎用フレームワーク
- Authors: Chris Kolb and Christian L. M\"uller and Bernd Bischl and David
R\"ugamer
- Abstract要約: 本稿では、()空間の正規化を$ell_q$ $ell_p,q$でスムーズに最適化するためのフレームワークを提案する。
ここでソリューションを見つけることは、オフザシェルフ()スパシティと互換性がある。
- 参考スコア(独自算出の注目度): 0.8029049649310213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a framework for smooth optimization of objectives with
$\ell_q$ and $\ell_{p,q}$ regularization for (structured) sparsity. Finding
solutions to these non-smooth and possibly non-convex problems typically relies
on specialized optimization routines. In contrast, the method studied here is
compatible with off-the-shelf (stochastic) gradient descent that is ubiquitous
in deep learning, thereby enabling differentiable sparse regularization without
approximations. The proposed optimization transfer comprises an
overparametrization of selected model parameters followed by a change of
penalties. In the overparametrized problem, smooth and convex $\ell_2$
regularization induces non-smooth and non-convex regularization in the original
parametrization. We show that the resulting surrogate problem not only has an
identical global optimum but also exactly preserves the local minima. This is
particularly useful in non-convex regularization, where finding global
solutions is NP-hard and local minima often generalize well. We provide an
integrative overview that consolidates various literature strands on
sparsity-inducing parametrizations in a general setting and meaningfully extend
existing approaches. The feasibility of our approach is evaluated through
numerical experiments, demonstrating its effectiveness by matching or
outperforming common implementations of convex and non-convex regularizers.
- Abstract(参考訳): 本稿では,(構造)スパーシティに対する$\ell_q$と$\ell_{p,q}$正規化を伴う目的の円滑な最適化のためのフレームワークを提案する。
これらの非滑らかでおそらくは非凸問題に対する解を見つけることは、通常、特別な最適化ルーチンに依存する。
対照的に,本手法は,深層学習においてユビキタスなオフ・ザ・シェルフ(stochastic)勾配降下と相性があり,近似なしで微分可能なスパース正規化が可能となる。
提案する最適化転送は、選択されたモデルパラメータのオーバーパラメータ化と、ペナルティの変更を含む。
過度パラメータ化問題において、滑らかで凸な$\ell_2$正規化は元のパラメトリゼーションにおいて非滑らかかつ非凸正規化を誘導する。
結果の代理問題は、同じ大域的最適性を持つだけでなく、局所的なミニマを正確に保存することを示した。
これは非凸正則化において特に有用であり、大域的解を見つけることはNPハードであり、局所ミニマはしばしば一般化される。
我々は,スパーシティ誘導パラメトリゼーションに関する様々な文献ストランドを一般の設定で集約し,既存のアプローチを有意義に拡張する統合的概観を提供する。
本手法の有効性を数値実験により評価し,凸および非凸正則化器の共通実装を一致または上回ることでその効果を実証した。
関連論文リスト
- Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳(メタデータ) (2022-05-03T09:23:07Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳(メタデータ) (2021-10-20T02:57:21Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-09-30T19:17:35Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Adaptive extra-gradient methods for min-max optimization and games [35.02879452114223]
本稿では,初期の反復で観測された勾配データの幾何を自動的に活用する,minmax最適化アルゴリズムの新たなファミリーを提案する。
この適応機構により,提案手法は問題がスムーズかどうかを自動的に検出する。
滑らかな問題における$mathcalO (1/varepsilon)$反復と、非滑らかな問題における$mathcalO (1/varepsilon)$反復に収束する。
論文 参考訳(メタデータ) (2020-10-22T22:54:54Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳(メタデータ) (2020-08-15T15:28:05Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic
Optimization Problems [12.010310883787911]
我々は、弱凸(おそらく非滑らかな)最適化問題の重要なクラスを解くための、適応的な段階的な新しい手法の族を解析する。
実験結果から,提案アルゴリズムが0次勾配降下と設計変動を経験的に上回ることを示す。
論文 参考訳(メタデータ) (2020-05-19T07:44:52Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。