論文の概要: An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions

• arxiv url: http://arxiv.org/abs/2001.10972v2
• Date: Thu, 30 Jan 2020 09:01:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 20:55:07.496198
• Title: An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions
• Title（参考訳）: リプシッツ推定下におけるNadaraya-Watsonカーネル回帰の上部境界
• Authors: Samuele Tosatto, Riad Akrour, Jan Peters
• Abstract要約: 本稿では,有限帯域幅を持つNadaraya-Watsonカーネル推定器の上限値を提案する。 この研究は、エラーに対する厳しい保証が必要な分野に潜在的な応用があると信じている。
• 参考スコア（独自算出の注目度）: 37.02885044489595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Nadaraya-Watson kernel estimator is among the most popular nonparameteric regression technique thanks to its simplicity. Its asymptotic bias has been studied by Rosenblatt in 1969 and has been reported in a number of related literature. However, Rosenblatt's analysis is only valid for infinitesimal bandwidth. In contrast, we propose in this paper an upper bound of the bias which holds for finite bandwidths. Moreover, contrarily to the classic analysis we allow for discontinuous first order derivative of the regression function, we extend our bounds for multidimensional domains and we include the knowledge of the bound of the regression function when it exists and if it is known, to obtain a tighter bound. We believe that this work has potential applications in those fields where some hard guarantees on the error are needed
• Abstract（参考訳）: nadaraya-watson kernel estimatorはその単純さのおかげで最も人気のある非パラメータ回帰技術である。 症状バイアスは1969年にローゼンブラットによって研究され、多くの関連文献で報告されている。 しかし、ローゼンブラットの解析は無限小帯域幅に対してのみ有効である。 対照的に,本論文では,帯域幅が有限であるバイアスの上界を提案する。 さらに、古典解析とは対照的に、回帰関数の不連続な一階微分を許容し、多次元領域の境界を拡張し、それが存在すれば回帰関数の境界に関する知識を含み、もしそれが知られているならばより密接な境界を得る。 この研究は、エラーに対する厳しい保証が必要な分野に潜在的な応用があると考えている。

関連論文リスト

• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• A Bound on the Maximal Marginal Degrees of Freedom [0.0]
  共通カーネルリッジレグレッションは、メモリ割り当てと計算時間において高価である。 本稿では,カーネルリッジ回帰に対する低階近似とサロゲートについて述べる。
  論文  参考訳（メタデータ） (2024-02-20T10:25:44Z)
• Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
  我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。 また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
  論文  参考訳（メタデータ） (2024-02-02T10:36:53Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem [4.503368323711748]
  経験的観測から2つのヒルベルト空間の間の線型作用素を$theta$で学習する問題を考察する。 この目標を$theta$の逆問題として、フォワード演算子が一般に非コンパクトであるような特徴で再定義できることが示される。 この逆問題は、スカラー応答回帰の導出に伴う既知のコンパクト逆問題と等価であることを示す。
  論文  参考訳（メタデータ） (2022-11-16T12:33:01Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Online nonparametric regression with Sobolev kernels [99.12817345416846]
  我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。 上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
  論文  参考訳（メタデータ） (2021-02-06T15:05:14Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。