論文の概要: Nadaraya-Watson kernel smoothing as a random energy model

• arxiv url: http://arxiv.org/abs/2408.03769v2
• Date: Thu, 21 Nov 2024 14:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:16:03.532896
• Title: Nadaraya-Watson kernel smoothing as a random energy model
• Title（参考訳）: ランダムエネルギーモデルとしてのナダラヤ・ワトソン核平滑化
• Authors: Jacob A. Zavatone-Veth, Cengiz Pehlevan,
• Abstract要約: 我々は統計物理学におけるランダムエネルギーモデル(REM)の解析から、ナダラヤ・ワトソン(NW)核平滑化のシャープを計算するためのアイデアを用いる。 私たちの研究は、カーネルのスムージングを高次元で詳細に理解するための第一歩を提供します。
• 参考スコア（独自算出の注目度）: 31.813665297843524
• License:
• Abstract: Precise asymptotics have revealed many surprises in high-dimensional regression. These advances, however, have not extended to perhaps the simplest estimator: direct Nadaraya-Watson (NW) kernel smoothing. Here, we describe how one can use ideas from the analysis of the random energy model (REM) in statistical physics to compute sharp asymptotics for the NW estimator when the sample size is exponential in the dimension. As a simple starting point for investigation, we focus on the case in which one aims to estimate a single-index target function using a radial basis function kernel on the sphere. Our main result is a pointwise asymptotic for the NW predictor, showing that it re-scales the argument of the true link function. Our work provides a first step towards a detailed understanding of kernel smoothing in high dimensions.
• Abstract（参考訳）: 精密無症状症は高次元回帰において多くの驚きを呈している。 しかし、これらの進歩はおそらく最も単純な推定器に拡張されていない:直接ナダラヤ・ワトソン(NW)核の平滑化。 ここでは、統計物理学におけるランダムエネルギーモデル(REM)の分析から、サンプルサイズが指数関数的である場合、NW推定器の鋭い漸近値を計算する方法について述べる。 簡単な研究の出発点として、球面上の放射基底関数カーネルを用いて単一インデックス対象関数を推定することを目的とした場合に焦点を当てる。 我々の主な結果はNW予測器の漸近点であり、真のリンク関数の引数を再スケールすることを示しています。 私たちの研究は、カーネルのスムージングを高次元で詳細に理解するための第一歩を提供します。

関連論文リスト

• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Projecting basis functions with tensor networks for Gaussian process regression [5.482420806459269]
  我々は,指数的計算複雑性を伴わない指数的基底関数を利用できるアプローチを開発した。 結果の重みを元の空間に投影してGP予測を行う。 18次元のベンチマークデータセットを用いた実験では,逆動力学問題に対する本手法の適用性を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:59:07Z)
• General Graph Random Features [42.75616308187867]
  重み付き隣接行列の任意の関数の偏りのない推定のためのランダムウォークに基づく新しいアルゴリズムを提案する。 提案アルゴリズムは, ノード数に関して, グラフカーネル評価の厳密な3次スケーリングを克服し, 準四次時間的複雑性を享受する。
  論文  参考訳（メタデータ） (2023-10-07T15:47:31Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Continuous-time quantum walks in the presence of a quadratic perturbation [55.41644538483948]
  連続時間量子ウォークの特性を、$mathcalH=L + lambda L2$という形のハミルトン群で解決する。 低/高接続性および/または対称性を持つパラダイムモデルであるため、サイクル、完全、およびスターグラフを考える。
  論文  参考訳（メタデータ） (2020-05-13T14:53:36Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。