論文の概要: Iterative regularization for low complexity regularizers

• arxiv url: http://arxiv.org/abs/2202.00420v1
• Date: Tue, 1 Feb 2022 14:09:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 17:20:14.639753
• Title: Iterative regularization for low complexity regularizers
• Title（参考訳）: 低複雑性正規化器の反復正則化
• Authors: Cesare Molinari and Mathurin Massias and Lorenzo Rosasco and Silvia Villa
• Abstract要約: 反復正則化は、最適化アルゴリズムの暗黙のバイアスを利用して不正な問題を正則化する。 非滑らかかつ非凸な関数によって記述されるバイアスを処理できる最初の反復正則化手法を提案し,研究する。
• 参考スコア（独自算出の注目度）: 18.87017835436693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Iterative regularization exploits the implicit bias of an optimization algorithm to regularize ill-posed problems. Constructing algorithms with such built-in regularization mechanisms is a classic challenge in inverse problems but also in modern machine learning, where it provides both a new perspective on algorithms analysis, and significant speed-ups compared to explicit regularization. In this work, we propose and study the first iterative regularization procedure able to handle biases described by non smooth and non strongly convex functionals, prominent in low-complexity regularization. Our approach is based on a primal-dual algorithm of which we analyze convergence and stability properties, even in the case where the original problem is unfeasible. The general results are illustrated considering the special case of sparse recovery with the $\ell_1$ penalty. Our theoretical results are complemented by experiments showing the computational benefits of our approach.
• Abstract（参考訳）: 反復正則化は最適化アルゴリズムの暗黙のバイアスを利用して不適切な問題を正則化する。 このような正則化機構を組み込んだアルゴリズムの構築は、逆問題だけでなく、現代の機械学習においても古典的な課題であり、アルゴリズム解析に対する新たな視点と、明示的な正則化と比較して大幅なスピードアップを提供する。 本研究では,非滑らかかつ非強凸汎関数によって記述されるバイアスを扱える最初の反復正規化手法を提案し,検討する。 提案手法は,元の問題が実現不可能な場合においても,収束特性と安定性特性を解析する原始双対アルゴリズムに基づいている。 一般的な結果は、$\ell_1$ペナルティを伴うスパース回復の特別な場合を考慮して示される。 我々の理論結果は、我々のアプローチの計算上の利点を示す実験によって補完される。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Weakly Convex Regularisers for Inverse Problems: Convergence of Critical Points and Primal-Dual Optimisation [12.455342327482223]
  臨界点の観点から収束正則化の一般化された定式化を提案する。 これは弱凸正規化器のクラスによって達成されることを示す。 この理論を正規化学習に適用し、入力の弱い凸ニューラルネットワークに対する普遍的な近似を証明した。
  論文  参考訳（メタデータ） (2024-02-01T22:54:45Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• First-Order Algorithms for Nonlinear Generalized Nash Equilibrium Problems [88.58409977434269]
  非線形一般化ナッシュ均衡問題(NGNEP)における平衡計算の問題を考える。 我々の貢献は、2次ペナルティ法と拡張ラグランジアン法に基づく2つの単純な一階アルゴリズムフレームワークを提供することである。 これらのアルゴリズムに対する漸近的理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-04-07T00:11:05Z)
• SCORE: Approximating Curvature Information under Self-Concordant Regularization [0.0]
  本稿では,新たな入力を受信するたびに最小化速度を更新する自己調和正規化アルゴリズム(GGN-SCORE)を提案する。 提案アルゴリズムはヘッセン行列の2階情報構造を利用して計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2021-12-14T13:03:04Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Iterative regularization for convex regularizers [18.87017835436693]
  線形モデルに対する反復正則化は、バイアスが凸であるが必ずしも凸であるとは限らないときに研究する。 最短ケース決定性雑音の存在下での収束を解析し, 2次元勾配に基づく手法の安定性特性を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-17T13:39:29Z)
• Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study [43.586269524826854]
  暗黙の正則化は最適化の一般化の傾向を、よく一般化されるある構造化された解へ向けたものである。 グラディエントDescent(SGD)の一般化能力を規定する電子分布に依存しない暗黙正則化器の存在を規定する簡単な構成を提供する。 次に, 強凸正則化や非退化ノルムベース正則化を含む一般化の説明から, 電子分布依存型暗黙正則化の非常に一般的なクラスを規定する学習問題を示す。
  論文  参考訳（メタデータ） (2020-03-13T08:40:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。