論文の概要: Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay

• arxiv url: http://arxiv.org/abs/2401.01599v2
• Date: Tue, 16 Jul 2024 01:15:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 23:40:44.534788
• Title: Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay
• Title（参考訳）: パワーロー減衰下における分析スペクトルアルゴリズムの一般化誤差曲線
• Authors: Yicheng Li, Weiye Gan, Zuoqiang Shi, Qian Lin,
• Abstract要約: 本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。 ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
• 参考スコア（独自算出の注目度）: 13.803850290216257
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The generalization error curve of certain kernel regression method aims at determining the exact order of generalization error with various source condition, noise level and choice of the regularization parameter rather than the minimax rate. In this work, under mild assumptions, we rigorously provide a full characterization of the generalization error curves of the kernel gradient descent method (and a large class of analytic spectral algorithms) in kernel regression. Consequently, we could sharpen the near inconsistency of kernel interpolation and clarify the saturation effects of kernel regression algorithms with higher qualification, etc. Thanks to the neural tangent kernel theory, these results greatly improve our understanding of the generalization behavior of training the wide neural networks. A novel technical contribution, the analytic functional argument, might be of independent interest.
• Abstract（参考訳）: カーネル回帰法の一般化誤差曲線は,極小率ではなく,様々な音源条件,雑音レベル,正規化パラメータの選択による一般化誤差の正確な順序を決定することを目的としている。 本研究では、軽微な仮定の下で、カーネル回帰におけるカーネル勾配勾配法(および分析スペクトルアルゴリズムの大規模なクラス)の一般化誤差曲線を厳格に評価する。 その結果、カーネル補間の不整合性を明確化し、より高い資格を有するカーネル回帰アルゴリズムの飽和効果を明らかにすることができた。 ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。 解析的機能論という新しい技術的貢献は、独立した関心事であるかもしれない。

関連論文リスト

• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization [83.06112052443233]
  本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
  論文  参考訳（メタデータ） (2024-06-05T12:03:27Z)
• Generalization error of spectral algorithms [17.93452027304691]
  我々は、$textitspectralアルゴリズムのファミリによるカーネルのトレーニングを、プロファイル$h(lambda)$で指定する。 一般化誤差は2つのデータモデルに対する学習プロファイル$h(lambda)$の関数として導出する。
  論文  参考訳（メタデータ） (2024-03-18T11:52:33Z)
• Gaussian Process Regression under Computational and Epistemic Misspecification [4.5656369638728656]
  大規模データアプリケーションでは、カーネルの低ランクあるいはスパース近似を用いて計算コストを削減できる。 本稿では,そのようなカーネル近似が要素誤差に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-12-14T18:53:32Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Modify Training Directions in Function Space to Reduce Generalization Error [9.821059922409091]
  本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。 固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
  論文  参考訳（メタデータ） (2023-07-25T07:11:30Z)
• Ridgeless Regression with Random Features [23.41536146432726]
  本研究では,無作為な特徴と勾配降下を伴う隆起性回帰の統計的特性について検討した。 トレーニング中のカーネルのスペクトル密度を最適化する可変カーネルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-01T14:25:08Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks [17.188280334580195]
  トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。 我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。 我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
  論文  参考訳（メタデータ） (2020-02-07T00:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。