論文の概要: Early stopping and polynomial smoothing in regression with reproducing kernels

• arxiv url: http://arxiv.org/abs/2007.06827v2
• Date: Sat, 28 Nov 2020 21:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 14:17:22.753581
• Title: Early stopping and polynomial smoothing in regression with reproducing kernels
• Title（参考訳）: 再生核を用いた回帰の早期停止と多項式平滑化
• Authors: Yaroslav Averyanov and Alain Celisse
• Abstract要約: 再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
• 参考スコア（独自算出の注目度）: 2.132096006921048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of early stopping for iterative learning algorithms in a reproducing kernel Hilbert space (RKHS) in the nonparametric regression framework. In particular, we work with the gradient descent and (iterative) kernel ridge regression algorithms. We present a data-driven rule to perform early stopping without a validation set that is based on the so-called minimum discrepancy principle. This method enjoys only one assumption on the regression function: it belongs to a reproducing kernel Hilbert space (RKHS). The proposed rule is proved to be minimax-optimal over different types of kernel spaces, including finite-rank and Sobolev smoothness classes. The proof is derived from the fixed-point analysis of the localized Rademacher complexities, which is a standard technique for obtaining optimal rates in the nonparametric regression literature. In addition to that, we present simulation results on artificial datasets that show the comparable performance of the designed rule with respect to other stopping rules such as the one determined by V-fold cross-validation.
• Abstract（参考訳）: 本稿では、非パラメトリック回帰フレームワークにおける再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 特に、勾配降下法と(イテレーティブな)カーネルリッジ回帰アルゴリズムを扱う。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 この方法は回帰関数に関する1つの仮定のみを享受し、再生されたカーネルヒルベルト空間(RKHS)に属する。 提案された規則は、有限ランクやソボレフ滑らか性クラスを含む、異なる種類の核空間上のミニマックス最適であることが証明されている。 この証明は、非パラメトリック回帰文学において最適な速度を得るための標準手法である局所化ラデマッハ複素量の固定点解析から導かれる。 さらに,V-foldクロスバリデーションによって決定されるような他の停止規則に対して,設計規則の同等性能を示す人工データセット上でのシミュレーション結果を示す。

関連論文リスト

• A Structure-Preserving Kernel Method for Learning Hamiltonian Systems [3.594638299627404]
  構造保存されたカーネルリッジ回帰法は、潜在的に高次元かつ非線形なハミルトン関数の回復を可能にする。 本稿では,勾配の線形関数を含む損失関数が要求される問題に対して,カーネル回帰法を拡張した。 固定正則化パラメータと適応正則化パラメータを用いて収束率を提供する完全誤差解析を行う。
  論文  参考訳（メタデータ） (2024-03-15T07:20:21Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Solving Kernel Ridge Regression with Gradient-Based Optimization Methods [1.5229257192293204]
  カーネルリッジ回帰(カーネルリッジ回帰、英: Kernel ridge regression、KRR)は、データでは非線形であるがパラメータでは線形である線形リッジ回帰の一般化である。 我々は、$ell_infty$ペナルティとそれに対応する勾配に基づく最適化アルゴリズムがどのようにスパースで堅牢なカーネル回帰解を生成するかを理論的、実証的に示す。
  論文  参考訳（メタデータ） (2023-06-29T10:29:29Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Coefficient-based Regularized Distribution Regression [4.21768682940933]
  我々は、確率測度から実数値応答への回帰を目的とした係数に基づく正規化分布回帰を、Hilbert空間(RKHS)上で考える。 回帰関数の正則範囲が異なるアルゴリズムの漸近挙動を包括的に研究した。 最適速度は、いくつかの穏やかな条件下で得られるが、これは1段のサンプル化された最小値の最適速度と一致する。
  論文  参考訳（メタデータ） (2022-08-26T03:46:14Z)
• Experimental Design for Linear Functionals in Reproducing Kernel Hilbert Spaces [102.08678737900541]
  線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。 準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
  論文  参考訳（メタデータ） (2022-05-26T20:56:25Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。