論文の概要: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- arxiv url: http://arxiv.org/abs/2307.03571v1
- Date: Fri, 7 Jul 2023 13:06:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 12:29:03.456902
- Title: Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization
- Title（参考訳）: エッジの平滑化: Hadamard overparametrization を用いたスパース正規化におけるスムース最適化のための汎用フレームワーク
- Authors: Chris Kolb and Christian L. M\"uller and Bernd Bischl and David
R\"ugamer
- Abstract要約: 本稿では, $ell_q$ および $ell_q$ の正規化問題に対するスムーズな(構造化された)スパーシリティ法を提案する。
- 参考スコア（独自算出の注目度）: 0.8029049649310213
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces a smooth method for (structured) sparsity in $\ell_q$
and $\ell_{p,q}$ regularized optimization problems. Optimization of these
non-smooth and possibly non-convex problems typically relies on specialized
procedures. In contrast, our general framework is compatible with prevalent
first-order optimization methods like Stochastic Gradient Descent and
accelerated variants without any required modifications. This is accomplished
through a smooth optimization transfer, comprising an overparametrization of
selected model parameters using Hadamard products and a change of penalties. In
the overparametrized problem, smooth and convex $\ell_2$ regularization of the
surrogate parameters induces non-smooth and non-convex $\ell_q$ or $\ell_{p,q}$
regularization in the original parametrization. We show that our approach
yields not only matching global minima but also equivalent local minima. This
is particularly useful in non-convex sparse regularization, where finding
global minima is NP-hard and local minima are known to generalize well. We
provide a comprehensive overview consolidating various literature strands on
sparsity-inducing parametrizations and propose meaningful extensions to
existing approaches. The feasibility of our approach is evaluated through
numerical experiments, which demonstrate that its performance is on par with or
surpasses commonly used implementations of convex and non-convex regularization
methods.
- Abstract（参考訳）: 本稿では,$\ell_q$および$\ell_{p,q}$正規化最適化問題における(構造)スパーシティの滑らかな方法を提案する。
これらの非スムースおよび非凸問題の最適化は、典型的には特殊手順に依存する。
対照的に、我々の一般的なフレームワークは、Stochastic Gradient Descent やAccelered variant のような一般的な一階最適化手法と互換性がある。
これは、アダマール積を用いた選択されたモデルパラメータの過度なパラメータ化と罰則の変化を含むスムーズな最適化転送によって達成される。
過度パラメータ化問題において、滑らかで凸な$\ell_2$ サロゲートパラメータの正規化は、元のパラメトリゼーションにおいて非滑らかで非凸な$\ell_q$または$\ell_{p,q}$正規化を誘導する。
私たちのアプローチは、グローバルミニマだけでなく、同等のローカルミニマにもマッチすることを示している。
これは非凸スパース正規化において特に有用であり、大域的ミニマはNPハードであり、局所的ミニマはよく一般化することが知られている。
我々は,スパーシティ誘導パラメトリゼーションに関する様々な文献ストランドを総合的に整理し,既存のアプローチに対する有意義な拡張を提案する。
提案手法の有効性は数値実験により評価され,その性能が凸正則化法や非凸正則化法と同等あるいは同等であることを示す。
関連論文リスト
- Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。
提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
論文 参考訳（メタデータ） (2024-10-22T10:19:27Z) - Distributed Fractional Bayesian Learning for Adaptive Optimization [7.16937736207894]
本稿では,各エージェントが共通パラメータを持つローカルコスト関数にのみアクセス可能な分散適応最適化問題について考察する。
分散最適化問題におけるパラメータの不確実性に対処し、同時に最適解を見つけるための貴重な洞察を提供することを目的としている。
論文 参考訳（メタデータ） (2024-04-17T13:09:33Z) - Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。
これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
論文 参考訳（メタデータ） (2024-02-14T10:48:00Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。
本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。
我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
論文 参考訳（メタデータ） (2022-09-27T07:58:25Z) - Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。
我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。
我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
論文 参考訳（メタデータ） (2022-05-03T09:23:07Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth
Nonconvex Statistical Learning [2.049702429898688]
本稿では,適応近似,ミラー,反復しきい値降下,DCプログラミングなど,幅広いBregman-surrogateフレームワークを例として取り上げる。
論文 参考訳（メタデータ） (2021-12-16T20:37:40Z) - Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。
我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。
提案手法は,高速化および事前条件最適化手法にも利用できる。
論文 参考訳（メタデータ） (2020-08-15T15:28:05Z) - Stochastic batch size for adaptive regularization in deep network
optimization [63.68104397173262]
ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。
一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
論文 参考訳（メタデータ） (2020-04-14T07:54:53Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。