論文の概要: Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization

• arxiv url: http://arxiv.org/abs/2307.03571v3
• Date: Fri, 26 Apr 2024 23:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 01:24:18.944765
• Title: Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
• Title（参考訳）: エッジの平滑化: Hadamard overparametrization を用いたスパース正規化の平滑化最適化
• Authors: Chris Kolb, Christian L. Müller, Bernd Bischl, David Rügamer,
• Abstract要約: 本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 提案手法は,完全微分可能近似自由最適化を実現し,深層学習におけるユビキタス勾配降下パラダイムと互換性がある。
• 参考スコア（独自算出の注目度）: 10.009748368458409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a framework for smooth optimization of explicitly regularized objectives for (structured) sparsity. These non-smooth and possibly non-convex problems typically rely on solvers tailored to specific models and regularizers. In contrast, our method enables fully differentiable and approximation-free optimization and is thus compatible with the ubiquitous gradient descent paradigm in deep learning. The proposed optimization transfer comprises an overparameterization of selected parameters and a change of penalties. In the overparametrized problem, smooth surrogate regularization induces non-smooth, sparse regularization in the base parametrization. We prove that the surrogate objective is equivalent in the sense that it not only has identical global minima but also matching local minima, thereby avoiding the introduction of spurious solutions. Additionally, our theory establishes results of independent interest regarding matching local minima for arbitrary, potentially unregularized, objectives. We comprehensively review sparsity-inducing parametrizations across different fields that are covered by our general theory, extend their scope, and propose improvements in several aspects. Numerical experiments further demonstrate the correctness and effectiveness of our approach on several sparse learning problems ranging from high-dimensional regression to sparse neural network training.
• Abstract（参考訳）: 本稿では、(構造化された)空間性に対して、明示的に正規化された目的を円滑に最適化するためのフレームワークを提案する。 これらの非滑らかでおそらくは非凸問題は通常、特定のモデルや正規化器に合わせた解法に依存する。 対照的に、本手法は、完全に微分可能かつ近似不要な最適化を可能にし、ディープラーニングにおけるユビキタス勾配降下パラダイムと互換性がある。 提案手法は,選択パラメータの過度パラメータ化とペナルティの変化を含む。 過度パラメータ化問題では、滑らかなサロゲート正則化は基底パラメトリゼーションにおける非滑らかなスパース正則化を誘導する。 代理目的が同じ大域ミニマを持つだけでなく、一致した局所ミニマを持つという意味で等価であることを証明する。 さらに、我々の理論は、任意の、潜在的に正規化されていない目的に対する局所最小値のマッチングに関する独立した関心の結果を確立する。 我々は、我々の一般理論によってカバーされる様々な分野の空間的パラメトリゼーションを包括的にレビューし、その範囲を広げ、いくつかの面で改善を提案する。 数値実験により、高次元回帰からスパースニューラルネットワークトレーニングまで、いくつかのスパース学習問題に対する我々のアプローチの正しさと有効性をさらに実証した。

関連論文リスト

• Distributed Fractional Bayesian Learning for Adaptive Optimization [7.16937736207894]
  本稿では,各エージェントが共通パラメータを持つローカルコスト関数にのみアクセス可能な分散適応最適化問題について考察する。 分散最適化問題におけるパラメータの不確実性に対処し、同時に最適解を見つけるための貴重な洞察を提供することを目的としている。
  論文  参考訳（メタデータ） (2024-04-17T13:09:33Z)
• Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
  この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。 これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
  論文  参考訳（メタデータ） (2024-02-14T10:48:00Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Smooth over-parameterized solvers for non-smooth structured optimization [3.756550107432323]
  非滑らか性 (non-smoothness) は、空間性、群空間性、低ランクエッジ、鋭いエッジなどの解の構造的制約を符号化する。 我々は、基礎となる非滑らかな最適化問題の非重み付きだが滑らかな過度パラメータ化を運用する。 我々の主な貢献は変数の一部を明示的に最小化することで新しい定式化を定義する変数射影(VarPro)を適用することです。
  論文  参考訳（メタデータ） (2022-05-03T09:23:07Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning [2.049702429898688]
  本稿では,適応近似,ミラー,反復しきい値降下,DCプログラミングなど,幅広いBregman-surrogateフレームワークを例として取り上げる。
  論文  参考訳（メタデータ） (2021-12-16T20:37:40Z)
• Obtaining Adjustable Regularization for Free via Iterate Averaging [43.75491612671571]
  最適化のための正規化は、機械学習の過度な適合を避けるための重要なテクニックである。 我々は、任意の強凸かつ滑らかな対象関数上のSGDの繰り返しを正規化された関数に変換する平均化スキームを確立する。 提案手法は,高速化および事前条件最適化手法にも利用できる。
  論文  参考訳（メタデータ） (2020-08-15T15:28:05Z)
• Stochastic batch size for adaptive regularization in deep network optimization [63.68104397173262]
  ディープラーニングフレームワークにおける機械学習問題に適用可能な適応正規化を取り入れた一階最適化アルゴリズムを提案する。 一般的なベンチマークデータセットに適用した従来のネットワークモデルに基づく画像分類タスクを用いて,提案アルゴリズムの有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2020-04-14T07:54:53Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。