論文の概要: Small noise analysis for Tikhonov and RKHS regularizations

• arxiv url: http://arxiv.org/abs/2305.11055v1
• Date: Thu, 18 May 2023 15:50:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 14:19:43.808844
• Title: Small noise analysis for Tikhonov and RKHS regularizations
• Title（参考訳）: TikhonovおよびRKHS正則化のための小型ノイズ解析
• Authors: Quanjun Lang, Fei Lu
• Abstract要約: 我々は、TikhonovとRKHSの正規化におけるノルムの効果を評価するための小さなノイズ分析フレームワークを構築した。 この枠組みは, 低雑音域における正規化推定器の収束率について検討し, 従来のL2正則化器の潜在的な不安定性を明らかにする。 驚くべき洞察は、これらの分数RKHSによる過度な平滑化は、常に最適な収束率をもたらすということである。
• 参考スコア（独自算出の注目度）: 1.776746672434207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Regularization plays a pivotal role in ill-posed machine learning and inverse problems. However, the fundamental comparative analysis of various regularization norms remains open. We establish a small noise analysis framework to assess the effects of norms in Tikhonov and RKHS regularizations, in the context of ill-posed linear inverse problems with Gaussian noise. This framework studies the convergence rates of regularized estimators in the small noise limit and reveals the potential instability of the conventional L2-regularizer. We solve such instability by proposing an innovative class of adaptive fractional RKHS regularizers, which covers the L2 Tikhonov and RKHS regularizations by adjusting the fractional smoothness parameter. A surprising insight is that over-smoothing via these fractional RKHSs consistently yields optimal convergence rates, but the optimal hyper-parameter may decay too fast to be selected in practice.
• Abstract（参考訳）: 正規化は、不正な機械学習と逆問題において重要な役割を果たす。 しかし、様々な正規化ノルムの基本的な比較分析は未解決である。 我々は、ガウス雑音を伴う線形逆問題において、TikhonovおよびRKHS正規化におけるノルムの効果を評価するための小さなノイズ分析フレームワークを構築した。 この枠組みは、小雑音域における正規化推定器の収束率を調査し、従来のl2レギュラライザの潜在的な不安定性を明らかにする。 このような不安定性は、L2 Tikhonov と RKHS の正則化をカバーする適応的分数分解器の革新的なクラスを提案することで解決する。 驚くべき洞察は、これらの分数 rkhss によるオーバースムーシングは一貫して最適な収束率をもたらすが、最適なハイパーパラメーターは実際に選択するには速すぎるかもしれないということである。

関連論文リスト

• Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
  構造密度の重み付き雑音によるクリップ最適化問題を考察する。 勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。 得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
  論文  参考訳（メタデータ） (2023-11-07T17:39:17Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms [8.669461942767098]
  モーメントに基づく1次最適化アルゴリズムについて検討し, 繰り返しが付加的な白色雑音を受ける場合について検討した。 強い凸2次問題に対しては、雑音増幅の定量化のために最適化変数における誤差の定常分散を用いる。 雑音増幅と定位時間のバランスをとるアルゴリズムの2つのパラメータ化ファミリを導入する。
  論文  参考訳（メタデータ） (2022-09-24T04:26:30Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization [49.55649406434796]
  本研究では,HSI復調のためのロバストな主成分分析のための新しい非特異なアプローチを提案する。 我々は、ランクとスパースコンポーネントの両方に対する正確な近似を開発する。 シミュレーションと実HSIの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-01-08T11:48:46Z)
• Minimax Supervised Clustering in the Anisotropic Gaussian Mixture Model: A new take on Robust Interpolation [5.98367009147573]
  2成分異方性ガウス混合モデルに基づくクラスタリング問題について検討する。 その結果, 線形判別分析(LDA)分類器は, ミニマックス感において準最適であることが判明した。
  論文  参考訳（メタデータ） (2021-11-13T05:19:37Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Beyond Tikhonov: Faster Learning with Self-Concordant Losses via Iterative Regularization [120.31448970413298]
  我々は、チコノフ正則化の理論を一般化された自己協和損失関数に拡張する。 反復的チコノフ正規化スキームを用いて, GSC に対して高速かつ最適な速度が得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:25:41Z)
• Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces [35.091152823482105]
  カーネル・クライン空間における不定核を持つ正則化最小二乗の性質について検討する。 我々は、カーネル・クライン空間において、カーネル・ヒルベルト空間と同一の学習率を導出する。
  論文  参考訳（メタデータ） (2020-06-01T16:55:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。