論文の概要: Analyzing the discrepancy principle for kernelized spectral filter learning algorithms

• arxiv url: http://arxiv.org/abs/2004.08436v1
• Date: Fri, 17 Apr 2020 20:08:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 13:42:30.163077
• Title: Analyzing the discrepancy principle for kernelized spectral filter learning algorithms
• Title（参考訳）: カーネル化スペクトルフィルタ学習アルゴリズムにおける差分原理の解析
• Authors: Alain Celisse and Martin Wahl
• Abstract要約: 本稿では, 並列化スペクトルフィルタ学習アルゴリズムにおいて, 相違原理とスムーズな残差に基づく修正について検討する。 我々の理論的境界は、経験的推定誤差(固定設計)と予測誤差(ランダム設計)のために確立されたオラクルの不等式である。
• 参考スコア（独自算出の注目度）: 2.132096006921048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate the construction of early stopping rules in the nonparametric regression problem where iterative learning algorithms are used and the optimal iteration number is unknown. More precisely, we study the discrepancy principle, as well as modifications based on smoothed residuals, for kernelized spectral filter learning algorithms including gradient descent. Our main theoretical bounds are oracle inequalities established for the empirical estimation error (fixed design), and for the prediction error (random design). From these finite-sample bounds it follows that the classical discrepancy principle is statistically adaptive for slow rates occurring in the hard learning scenario, while the smoothed discrepancy principles are adaptive over ranges of faster rates (resp. higher smoothness parameters). Our approach relies on deviation inequalities for the stopping rules in the fixed design setting, combined with change-of-norm arguments to deal with the random design setting.
• Abstract（参考訳）: 反復学習アルゴリズムを用いた非パラメトリック回帰問題における早期停止規則の構成とその最適反復数について検討する。 より正確には、勾配降下を含むスペクトルフィルタ学習アルゴリズムの偏差原理と滑らかな残差に基づく修正について研究する。 私たちの理論上の主な境界は、経験的推定エラー(固定設計)と予測エラー(ランダム設計)のために確立されたオラクルの不等式です。 これらの有限個のサンプル境界から、古典的不一致原理はハードラーニングのシナリオで発生する遅い速度に対して統計的に適応するが、滑らかな不一致原理はより速い速度の範囲(つまりより高い滑らか性パラメータ)に適応する。 我々のアプローチは、固定設計設定における停止規則の偏差不等式と、ランダム設計設定を扱うための変更ノルム引数を組み合わせたものである。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• A Statistical Theory of Regularization-Based Continual Learning [10.899175512941053]
  線形回帰タスクの順序に基づく正規化に基づく連続学習の統計的解析を行う。 まず、全てのデータが同時に利用可能であるかのように得られたオラクル推定器の収束率を導出する。 理論解析の副産物は、早期停止と一般化された$ell$-regularizationの等価性である。
  論文  参考訳（メタデータ） (2024-06-10T12:25:13Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• First Order Methods with Markovian Noise: from Acceleration to Variational Inequalities [91.46841922915418]
  本稿では,一階変分法の理論解析のための統一的アプローチを提案する。 提案手法は非線形勾配問題とモンテカルロの強い問題の両方をカバーする。 凸法最適化問題の場合、オラクルに強く一致するような境界を与える。
  論文  参考訳（メタデータ） (2023-05-25T11:11:31Z)
• Iterative regularization in classification via hinge loss diagonal descent [12.684351703991965]
  反復正規化(英: Iterative regularization)は、最近機械学習で人気になった正規化理論における古典的な考え方である。 本稿では,分類の文脈における反復正則化に着目した。
  論文  参考訳（メタデータ） (2022-12-24T07:15:26Z)
• Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
  既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。 我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
  論文  参考訳（メタデータ） (2021-12-24T17:21:04Z)
• Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory [11.840747467007963]
  我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。 一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。 我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
  論文  参考訳（メタデータ） (2020-11-12T04:07:29Z)
• Variance Regularization for Accelerating Stochastic Optimization [14.545770519120898]
  ミニバッチ勾配に隠れた統計情報を利用してランダムな誤りの蓄積を低減する普遍原理を提案する。 これは、ミニバッチのばらつきに応じて学習率を正規化することで達成される。
  論文  参考訳（メタデータ） (2020-08-13T15:34:01Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• On the Convergence Rate of Projected Gradient Descent for a Back-Projection based Objective [58.33065918353532]
  我々は、最小二乗(LS)の代替として、バックプロジェクションに基づく忠実度項を考える。 LS項ではなくBP項を用いることで最適化アルゴリズムの繰り返しを少なくすることを示す。
  論文  参考訳（メタデータ） (2020-05-03T00:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。