論文の概要: Conditional KRR: Injecting Unpenalized Features into Kernel Methods with Applications to Kernel Thresholding

• arxiv url: http://arxiv.org/abs/2605.26067v1
• Date: Mon, 25 May 2026 17:31:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.546465
• Title: Conditional KRR: Injecting Unpenalized Features into Kernel Methods with Applications to Kernel Thresholding
• Title（参考訳）: 条件付きKRR:カーネルメソッドに不注意な特徴を注入するとそのカーネル閾値保持への応用
• Authors: Rustem Takhanov, Zhenisbek Assylbekov,
• Abstract要約: 条件付きカーネルリッジ回帰(条件付きKRR)は学習方法である。 条件付きKRRは、$K$が正定値であり、$mathcalF$が$K$のマーサー分解の最初の$k$主固有関数によって与えられる場合に解析する。 理論的解析と実験の両方で条件付きKRRが標準KRRより優れていることが確認された。
• 参考スコア（独自算出の注目度）: 3.6095388702618405
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditionally positive definite (CPD) kernels are defined with respect to a function class $\mathcal{F}$. It is well known that such a kernel $K$ is associated with its native space (defined analogously to an RKHS), which in turn gives rise to a learning method -- called conditional kernel ridge regression (conditional KRR) due to its analogy with KRR -- where the estimated regression function is penalized by the square of its native space norm. This method is of interest because it can be viewed as classical linear regression, with features specified by $\mathcal{F}$, followed by the application of standard KRR to the residual (unexplained) component of the target variable. Methods of this type have recently attracted increasing attention. We study the statistical properties of this method by reducing its behavior to that of KRR with another fixed kernel, called the residual kernel. Our main theoretical result shows that such a reduction is indeed possible, at the cost of an additional term in the expected test risk, bounded by $\mathcal{O}(1/\sqrt{N})$, where $N$ is the sample size and the hidden constant depends on the class $\mathcal{F}$ and the input distribution. This reduction enables us to analyze conditional KRR in the case where $K$ is positive definite and $\mathcal{F}$ is given by the first $k$ principal eigenfunctions in the Mercer decomposition of $K$. We also consider the setting where $\mathcal{F}$ consists of $k$ random features from a random feature representation of $K$. It turns out that these two settings are closely related. Both our theoretical analysis and experiments confirm that conditional KRR outperforms standard KRR in these cases whenever the $\mathcal{F}$-component of the regression function is more pronounced than the residual part.
• Abstract（参考訳）: 条件付き正定値(CPD)カーネルは、関数クラス $\mathcal{F}$ に対して定義される。 そのようなカーネル$K$が、そのネイティブ空間(RKHSに類似して定義される)と関連付けられていることはよく知られており、KRRと類似している条件付きカーネルリッジ回帰(条件付きKRR)と呼ばれる学習方法を生み出し、推定回帰関数はそのネイティブ空間ノルムの正方形によってペナル化される。 この方法は古典的線形回帰と見なすことができ、$\mathcal{F}$ で指定された特徴を持ち、続いて標準 KRR を対象変数の残留(説明されていない)成分に適用する。 この種の手法は近年注目を集めている。 我々は,この手法の統計的特性を,残留カーネルと呼ばれる別の固定カーネルを持つKRRの挙動に還元して検討する。 我々の主要な理論的結果は、予想されるテストリスクにおいて追加の項である$\mathcal{O}(1/\sqrt{N})$で制限されることで、そのような還元が可能であることを示し、$N$はサンプルサイズであり、隠れ定数はクラス$\mathcal{F}$と入力分布に依存する。 この還元により、$K$が正定値であり、$\mathcal{F}$が$K$のマーサー分解の最初の$k$主固有関数によって与えられる場合、条件付きKRRを解析できる。 また、$\mathcal{F}$が$k$のランダムな特徴表現から$k$のランダムな特徴からなるような設定も検討する。 この2つの設定が密接に関連していることが判明した。 理論的解析と実験の両方で、条件付きKRRは、回帰関数の$\mathcal{F}$-componentが残留部分よりも顕著に発音されるときに、これらの場合において標準KRRより優れていることが確認されている。

関連論文リスト

• A non-asymptotic theory of Kernel Ridge Regression: deterministic equivalents, test error, and GCV estimator [7.163829696591103]
  カーネルリッジ回帰を用いた未知のターゲット関数$f_*$の学習を検討する。 KRRのテスト誤差に対する非漸近的決定論的近似を確立した。
  論文  参考訳（メタデータ） (2024-03-13T20:12:03Z)
• Optimal Rates of Kernel Ridge Regression under Source Condition in Large Dimensions [15.988264513040903]
  そこで,カーネルリッジ回帰 (KRR) の大規模挙動について検討し,サンプルサイズ$n asymp dgamma$ for some $gamma > 0$について検討した。 以上の結果から,ガンマ$で変動する速度曲線は周期的台地挙動と多重降下挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-02T16:14:35Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Deformed semicircle law and concentration of nonlinear random matrices for ultra-wide neural networks [29.03095282348978]
  本稿では、$f(X)$に付随する2つの経験的カーネル行列のスペクトル分布の制限について検討する。 経験的カーネルによって誘導されるランダムな特徴回帰は、超広範体制下でのカーネル回帰の制限と同じ性能を達成することを示す。
  論文  参考訳（メタデータ） (2021-09-20T05:25:52Z)
• Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
  我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。 規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
  論文  参考訳（メタデータ） (2021-05-31T16:10:49Z)
• Generalization error of random features and kernel methods: hypercontractivity and kernel matrix concentration [19.78800773518545]
  特徴空間 $mathbb RN$ におけるリッジ回帰と併用したランダム特徴量法の利用について検討する。 これは、カーネルリッジ回帰(KRR)の有限次元近似、またはいわゆる遅延訓練体制におけるニューラルネットワークの様式化されたモデルと見なすことができる。
  論文  参考訳（メタデータ） (2021-01-26T06:46:41Z)
• Kernel Alignment Risk Estimator: Risk Prediction from Training Data [10.739602293023058]
  我々はKRR(Kernel Ridge Regression)のリスク(すなわち一般化誤差)を、ridge $lambda>0$およびi.i.d.観測値を持つカーネル$K$に対して検討する。 本稿では、SCT(Signal Capture Threshold)とKARE(Kernel Alignment Risk Estimator)の2つのオブジェクトを紹介する。
  論文  参考訳（メタデータ） (2020-06-17T12:00:05Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。