論文の概要: Training-point consistency of kernel ridge regression with varying correlation scales
- arxiv url: http://arxiv.org/abs/2611.18095v1
- Date: Fri, 13 Nov 2026 12:20:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:19.875802
- Title: Training-point consistency of kernel ridge regression with varying correlation scales
- Title(参考訳): 相関スケールの異なるカーネルリッジ回帰の訓練点整合性
- Abstract要約: 本稿では,カーネルリッジ回帰のための統一的理論フレームワークを,スケールパラメータの異なる条件下で開発する。
積指数核を持つ一様格子において、トレーニングポイントリスクの整合性は、有効局所サンプルサイズが無限大に分岐するときにのみ成立する。
我々は、この一貫性を保証する決定論的正規化ペナルティの明示的で信号に依存しない構築を提供する。
- 参考スコア(独自算出の注目度): 6.804300964709079
- License:
- Abstract: The scale parameter in kernel ridge regression plays a pivotal role in modeling the correlation structure of data. In modern applications, sampling density and the underlying correlation range often change simultaneously, making a fixed-scale assumption highly restrictive. However, establishing asymptotic theories under varying scale parameters is fundamentally challenging. To address this gap, this paper develops a unified theoretical framework for kernel ridge regression under varying scale parameters. We establish that, on uniform tensor grids with product exponential kernels, the consistency of the training-point risk holds if and only if the effective local sample size diverges to infinity. This sharp criterion universally covers all regimes along arbitrary deterministic scale sequences, seamlessly unifying the long-range, fixed-scale, and short-range. Furthermore, we provide an explicit, signal-independent construction of a deterministic regularization penalty that guarantees this consistency. Numerical experiments illustrate the criterion and the corresponding penalty across all the three regimes.
- Abstract(参考訳): カーネルリッジ回帰におけるスケールパラメータは、データの相関構造をモデル化する上で重要な役割を果たす。
現代の応用では、サンプリング密度と基礎となる相関範囲はしばしば同時に変化し、固定スケールの仮定は極めて制限される。
しかし、様々なスケールパラメータの下で漸近理論を確立することは基本的に困難である。
そこで本研究では,カーネルリッジ回帰のための統一的理論フレームワークを,スケールパラメータの異なる条件下で開発する。
積指数核を持つ一様テンソル格子上で、トレーニングポイントリスクの整合性は、有効局所サンプルサイズが無限大に分岐するときにのみ成立することを示す。
この鋭い基準は、任意の決定論的な尺度列に沿った全ての規則を普遍的にカバーし、長距離、固定スケール、短距離をシームレスに統一する。
さらに、この一貫性を保証する決定論的正規化ペナルティの明示的で信号に依存しない構築を提供する。
数値実験は、3つの体制の全てにまたがる基準とそれに対応するペナルティを示す。
関連論文リスト
- Inference for Causal Path-Specific Effects in Longitudinal Studies with Repeated Treatments and Multiple Mediators [2.571083961791761]
縦断的研究における経路特異的効果の半パラメトリック推定法を開発した。
提案手法はGihubのRパッケージflexPathsに実装されている。
論文 参考訳(メタデータ) (2026-10-25T15:02:30Z) - Hessian Rank Constraint for Learning Structure of Nonlinear Latent Variable Models [47.387003815326324]
非線形の場合の観測データ対数密度のクロスヘシアンから階数に基づく性質が生じることを示す。
我々は、潜伏変数を探索し、マルコフ同値までそれらの因果構造を復元するための純粋な1要素測定設定でHRCをインスタンス化する。
論文 参考訳(メタデータ) (2026-09-21T08:05:06Z) - Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence [0.0]
我々は再生空間におけるM-levの包括的理論を開発する。
ソボ空間に対しては、混合滑らか性関数を持つ滑らか性空間に接続する新たなレートを得る。
論文 参考訳(メタデータ) (2026-06-22T08:12:31Z) - Spectral-Transport Stability and Benign Overfitting in Interpolating Learning [0.0]
統計的学習の補間体制における一般化のための理論的枠組みを開発する。
我々は、有限サンプルリスク境界を証明し、鋭い良性オーバーフィッティング指数を確立し、スペクトル崩壊下での明示的な位相遷移速度を導出する。
このフレームワークはまた、最小スペクトル輸送エネルギーの補間解をどのように選択できるかを示すことによって暗黙の正則化を明確化する。
論文 参考訳(メタデータ) (2026-04-09T15:19:00Z) - Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。
その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。
テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
論文 参考訳(メタデータ) (2026-01-05T08:04:33Z) - Structured Basis Function Networks: Loss-Centric Multi-Hypothesis Ensembles with Controllable Diversity [46.60221265861393]
既存の予測の不確実性に対するアプローチは、多様性を促進するが原則化された集約を欠くマルチハイプセシス予測に依存している。
Structured Basis Function Networkはこのギャップに対処し、Bregmanの発散によって引き起こされる中心的な凝集を通して多仮説予測とエンハンブルをリンクする。
調整可能な多様性メカニズムは、バイアス-分散-多様性トレードオフのパラメトリック制御を提供し、多仮説一般化と損失認識アンサンブルアグリゲーションを接続する。
論文 参考訳(メタデータ) (2025-09-02T19:53:43Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳(メタデータ) (2022-01-31T17:44:58Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳(メタデータ) (2021-10-13T17:47:39Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳(メタデータ) (2021-06-30T17:51:36Z) - Towards Understanding Generalization via Decomposing Excess Risk
Dynamics [13.4379473119565]
一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。
ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。
分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
論文 参考訳(メタデータ) (2021-06-11T03:42:45Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。