論文の概要: Iterative regularization for convex regularizers
- arxiv url: http://arxiv.org/abs/2006.09859v2
- Date: Thu, 29 Oct 2020 09:44:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 19:43:42.631882
- Title: Iterative regularization for convex regularizers
- Title（参考訳）: 凸正則化器の反復正則化
- Authors: Cesare Molinari and Mathurin Massias and Lorenzo Rosasco and Silvia
Villa
- Abstract要約: 線形モデルに対する反復正則化は、バイアスが凸であるが必ずしも凸であるとは限らないときに研究する。
最短ケース決定性雑音の存在下での収束を解析し, 2次元勾配に基づく手法の安定性特性を特徴付ける。
- 参考スコア（独自算出の注目度）: 18.87017835436693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study iterative regularization for linear models, when the bias is convex
but not necessarily strongly convex. We characterize the stability properties
of a primal-dual gradient based approach, analyzing its convergence in the
presence of worst case deterministic noise. As a main example, we specialize
and illustrate the results for the problem of robust sparse recovery. Key to
our analysis is a combination of ideas from regularization theory and
optimization in the presence of errors. Theoretical results are complemented by
experiments showing that state-of-the-art performances can be achieved with
considerable computational speed-ups.
- Abstract（参考訳）: バイアスが凸であるが必ずしも強い凸ではない線形モデルに対する反復正則化について検討する。
最短ケース決定性雑音の存在下での収束を解析し, 2次元勾配に基づく手法の安定性特性を特徴付ける。
主な例として,頑健なスパースリカバリ問題に対する結果の専門化と説明を行う。
我々の分析の鍵は、正規化理論の考えと誤りの存在下での最適化の組み合わせである。
理論的な結果は、最先端のパフォーマンスをかなりの計算速度で達成できることを示す実験によって補完される。
関連論文リスト
- An Inexact Halpern Iteration with Application to Distributionally Robust
Optimization [9.529117276663431]
決定論的および決定論的収束設定におけるスキームの不正確な変種について検討する。
不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。
論文 参考訳（メタデータ） (2024-02-08T20:12:47Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Curvature-Independent Last-Iterate Convergence for Games on Riemannian
Manifolds [77.4346324549323]
本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。
我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
論文 参考訳（メタデータ） (2023-06-29T01:20:44Z) - Iterative regularization for low complexity regularizers [18.87017835436693]
反復正則化は、最適化アルゴリズムの暗黙のバイアスを利用して不正な問題を正則化する。
非滑らかかつ非凸な関数によって記述されるバイアスを処理できる最初の反復正則化手法を提案し,研究する。
論文 参考訳（メタデータ） (2022-02-01T14:09:00Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Variational Inference in high-dimensional linear regression [5.065420156125522]
高次元ベイズ線形回帰を積優先で研究する。
後部分布のログ正規化定数に対するナイーブ平均場近似の先導的正しさの十分な条件を提供します。
論文 参考訳（メタデータ） (2021-04-25T19:09:38Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳（メタデータ） (2021-03-02T06:59:52Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳（メタデータ） (2021-01-15T11:39:09Z) - Asymptotic Errors for Teacher-Student Convex Generalized Linear Models
(or : How to Prove Kabashima's Replica Formula) [23.15629681360836]
凸一般化線形モデルの再構成性能に関する解析式を検証した。
解析的継続を行えば、結果を凸(非強直)問題に拡張できることを示す。
主流学習法に関する数値的な例で,本主張を述べる。
論文 参考訳（メタデータ） (2020-06-11T16:26:35Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。