論文の概要: On the Saturation Effect of Kernel Ridge Regression
- arxiv url: http://arxiv.org/abs/2405.09362v1
- Date: Wed, 15 May 2024 14:15:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 13:16:53.543971
- Title: On the Saturation Effect of Kernel Ridge Regression
- Title(参考訳): カーネルリッジ回帰の飽和効果について
- Authors: Yicheng Li, Haobo Zhang, Qian Lin,
- Abstract要約: 飽和効果は、地下の真理関数の滑らかさが一定のレベルを超えると、カーネルリッジ回帰(KRR)が情報理論的下界を達成できない現象を指す。
飽和効果は慣行で広く見られ、KRRの飽和下限は数十年にわたって推測されてきた。
- 参考スコア(独自算出の注目度): 15.398375151050768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The saturation effect refers to the phenomenon that the kernel ridge regression (KRR) fails to achieve the information theoretical lower bound when the smoothness of the underground truth function exceeds certain level. The saturation effect has been widely observed in practices and a saturation lower bound of KRR has been conjectured for decades. In this paper, we provide a proof of this long-standing conjecture.
- Abstract(参考訳): 飽和効果は、地下の真理関数の滑らかさが一定のレベルを超えると、カーネルリッジ回帰(KRR)が情報理論的下界を達成できない現象を指す。
飽和効果は慣行で広く見られ、KRRの飽和下限は数十年にわたって推測されてきた。
本稿では、この長期予想の証明を提供する。
関連論文リスト
- Characterizing Overfitting in Kernel Ridgeless Regression Through the Eigenspectrum [6.749750044497731]
我々は、ガウス以下の設計仮定の下で、誘惑的な過フィットと破滅的な過フィットの現象を証明した。
また、機能の独立性は、誘惑に満ちたオーバーフィッティングを保証する上で重要な役割を担っていることも確認しています。
論文 参考訳(メタデータ) (2024-02-02T10:36:53Z) - A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge
Regression [23.156642467474995]
有限ランクカーネルは、例えば、トレーニング済みのディープニューラルネットワークの最後の層を微調整して新しいタスクに適応するなど、いくつかの機械学習問題に自然に現れる。
我々は、任意の有限ランクKRRのKRRテスト誤差に対して、急激な非漸近上界と下界を導出することにより、このギャップに対処する。
我々の境界は、以前に導出された有限ランクKRR上の境界よりも厳密であり、同等の結果とは異なり、任意の正則化パラメータに対しても有効である。
論文 参考訳(メタデータ) (2023-10-02T08:52:29Z) - Role of boundary conditions in the full counting statistics of
topological defects after crossing a continuous phase transition [62.997667081978825]
トポロジカル欠陥の統計学における境界条件の役割を解析する。
また, クイン数分布の累積は, クエンチ率に比例して普遍的なスケーリングを示すことを示した。
論文 参考訳(メタデータ) (2022-07-08T09:55:05Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳(メタデータ) (2021-10-12T18:12:23Z) - Gravity-related collapse of the wave function and spontaneous heating:
revisiting the experimental bounds [0.0]
DPモデルのパラメータフリー版は,極低温における標準熱漏れ測定によりほぼ排除される。
この結果は、自然発生のX線放射実験によって推定される排除の最近の主張を強化することになる。
論文 参考訳(メタデータ) (2021-09-30T10:21:42Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳(メタデータ) (2021-08-25T22:01:01Z) - Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。
この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
論文 参考訳(メタデータ) (2021-08-05T23:04:15Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-28T11:07:59Z) - Accelerating Convergence of Replica Exchange Stochastic Gradient MCMC
via Variance Reduction [24.794221009364772]
ノイズの多いエネルギー推定器の分散の低減について検討し、より効率的な分析を促進する。
合成実験および画像データに対する最適化および不確実性推定の最先端結果を得る。
論文 参考訳(メタデータ) (2020-10-02T16:23:35Z) - Dissipative-coupling-assisted laser cooling: limitations and
perspectives [91.3755431537592]
本稿では, 追加散逸などの小さな不完全性に対する感度が高いプロトコルを包括的に解析する。
冷却プロトコルとレッドサイドバンド励起またはフィードバックを用いた分散結合支援プロトコルの詳細な比較を示す。
論文 参考訳(メタデータ) (2020-07-27T16:02:16Z) - Non-locality and time-dependent boundary conditions: a Klein-Gordon
perspective [0.0]
膨張キャビティ中の粒子の動力学をクライン・ゴードンの枠組みで研究した。
この膨張はキャビティ全体の電流密度に非局所的な効果をもたらすことを示す。
論文 参考訳(メタデータ) (2020-02-05T17:13:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。