論文の概要: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- arxiv url: http://arxiv.org/abs/2307.03571v2
- Date: Tue, 8 Aug 2023 16:05:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 16:23:32.583173
- Title: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- Title（参考訳）: エッジの平滑化: Hadamard overparametrization を用いたスパース正規化におけるスムース最適化のための汎用フレームワーク
- Authors: Chris Kolb and Christian L. M\"uller and Bernd Bischl and David
R\"ugamer
- Abstract要約: 本稿では、()空間の正規化を$ell_q$ $ell_p,q$でスムーズに最適化するためのフレームワークを提案する。
ここでソリューションを見つけることは、オフザシェルフ()スパシティと互換性がある。
- 参考スコア（独自算出の注目度）: 0.8029049649310213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a framework for smooth optimization of objectives with
$\ell_q$ and $\ell_{p,q}$ regularization for (structured) sparsity. Finding
solutions to these non-smooth and possibly non-convex problems typically relies
on specialized optimization routines. In contrast, the method studied here is
compatible with off-the-shelf (stochastic) gradient descent that is ubiquitous
in deep learning, thereby enabling differentiable sparse regularization without
approximations. The proposed optimization transfer comprises an
overparametrization of selected model parameters followed by a change of
penalties. In the overparametrized problem, smooth and convex $\ell_2$
regularization induces non-smooth and non-convex regularization in the original
parametrization. We show that the resulting surrogate problem not only has an
identical global optimum but also exactly preserves the local minima. This is
particularly useful in non-convex regularization, where finding global
solutions is NP-hard and local minima often generalize well. We provide an
integrative overview that consolidates various literature strands on
sparsity-inducing parametrizations in a general setting and meaningfully extend
existing approaches. The feasibility of our approach is evaluated through
numerical experiments, demonstrating its effectiveness by matching or
outperforming common implementations of convex and non-convex regularizers.
- Abstract（参考訳）: 本稿では,(構造)スパーシティに対する$\ell_q$と$\ell_{p,q}$正規化を伴う目的の円滑な最適化のためのフレームワークを提案する。
これらの非滑らかでおそらくは非凸問題に対する解を見つけることは、通常、特別な最適化ルーチンに依存する。
対照的に,本手法は,深層学習においてユビキタスなオフ・ザ・シェルフ(stochastic)勾配降下と相性があり,近似なしで微分可能なスパース正規化が可能となる。
提案する最適化転送は、選択されたモデルパラメータのオーバーパラメータ化と、ペナルティの変更を含む。
過度パラメータ化問題において、滑らかで凸な$\ell_2$正規化は元のパラメトリゼーションにおいて非滑らかかつ非凸正規化を誘導する。
結果の代理問題は、同じ大域的最適性を持つだけでなく、局所的なミニマを正確に保存することを示した。
これは非凸正則化において特に有用であり、大域的解を見つけることはNPハードであり、局所ミニマはしばしば一般化される。
我々は,スパーシティ誘導パラメトリゼーションに関する様々な文献ストランドを一般の設定で集約し,既存のアプローチを有意義に拡張する統合的概観を提供する。
本手法の有効性を数値実験により評価し,凸および非凸正則化器の共通実装を一致または上回ることでその効果を実証した。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Distributed Fractional Bayesian Learning for Adaptive Optimization [7.16937736207894]
本稿では,各エージェントが共通パラメータを持つローカルコスト関数にのみアクセス可能な分散適応最適化問題について考察する。
分散最適化問題におけるパラメータの不確実性に対処し、同時に最適解を見つけるための貴重な洞察を提供することを目的としている。
論文 参考訳（メタデータ） (2024-04-17T13:09:33Z) - Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。
これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
論文 参考訳（メタデータ） (2024-02-14T10:48:00Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳（メタデータ） (2022-05-03T09:23:07Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth
Nonconvex Statistical Learning [2.049702429898688]
本稿では,適応近似,ミラー,反復しきい値降下,DCプログラミングなど,幅広いBregman-surrogateフレームワークを例として取り上げる。
論文 参考訳（メタデータ） (2021-12-16T20:37:40Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳（メタデータ） (2020-08-15T15:28:05Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。