論文の概要: Predicting kernel regression learning curves from only raw data statistics

• arxiv url: http://arxiv.org/abs/2510.14878v1
• Date: Thu, 16 Oct 2025 16:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.957539
• Title: Predicting kernel regression learning curves from only raw data statistics
• Title（参考訳）: 生データ統計のみによるカーネル回帰学習曲線の予測
• Authors: Dhruva Karkada, Joseph Turnbull, Yuxi Liu, James B. Simon,
• Abstract要約: 我々は, CIFAR-5m, SVHN, ImageNetなどの実データに対して, 共通の回転不変カーネルを用いたカーネル回帰について検討した。 実験データ行列と対象関数の実証的分解である$f_*$の2つの測定値から学習曲線を予測する理論的枠組みを提案する。 ガウス的データに対してHermite eigenstructure ansatz (HEA) を証明しているが、実画像データはしばしば「ガウス的」である。
• 参考スコア（独自算出の注目度）: 8.853323771088883
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study kernel regression with common rotation-invariant kernels on real datasets including CIFAR-5m, SVHN, and ImageNet. We give a theoretical framework that predicts learning curves (test risk vs. sample size) from only two measurements: the empirical data covariance matrix and an empirical polynomial decomposition of the target function $f_*$. The key new idea is an analytical approximation of a kernel's eigenvalues and eigenfunctions with respect to an anisotropic data distribution. The eigenfunctions resemble Hermite polynomials of the data, so we call this approximation the Hermite eigenstructure ansatz (HEA). We prove the HEA for Gaussian data, but we find that real image data is often "Gaussian enough" for the HEA to hold well in practice, enabling us to predict learning curves by applying prior results relating kernel eigenstructure to test risk. Extending beyond kernel regression, we empirically find that MLPs in the feature-learning regime learn Hermite polynomials in the order predicted by the HEA. Our HEA framework is a proof of concept that an end-to-end theory of learning which maps dataset structure all the way to model performance is possible for nontrivial learning algorithms on real datasets.
• Abstract（参考訳）: 我々は, CIFAR-5m, SVHN, ImageNetなどの実データに対して, 共通の回転不変カーネルを用いたカーネル回帰について検討した。 実験データ共分散行列と目的関数$f_*$の経験多項式分解という,2つの測定値から学習曲線(テストリスク対サンプルサイズ)を予測する理論的枠組みを提案する。 鍵となる新しいアイデアは、異方性データ分布に関するカーネルの固有値と固有関数の分析的近似である。 固有関数はデータのエルミート多項式に似ているので、この近似をヘルミート固有構造アンサッツ (Hermite eigenstructure ansatz,HEA) と呼ぶ。 我々は、ガウス的データに対してHEAを証明しているが、実際の画像データはしばしば、HEAが実際に十分に維持できる「ガウス的」であり、カーネル固有構造に関連する事前の結果を適用して学習曲線を予測することができる。 カーネルレグレッションを超えて、特徴学習体制のMLPは、HEAが予測した順序でヘルミテ多項式を学習する。 我々のHEAフレームワークは、実際のデータセット上の非自明な学習アルゴリズムに対して、データセット構造をモデル化するエンド・ツー・エンドの学習理論が可能であるという概念実証である。

関連論文リスト

• Highly Adaptive Ridge [84.38107748875144]
  直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。 Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。 我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-03T17:06:06Z)
• On the Consistency of Kernel Methods with Dependent Observations [5.467140383171385]
  本稿では,カーネル法においてこのような現象を説明する経験的弱収束(EWC)の概念を提案する。 EWCはランダムなデータ分布の存在を仮定し、フィールドにおける以前の仮定を厳格に弱める。 本研究は,学習過程の新たなクラスを統計的学習に開放し,i.d.以上の学習理論と混合の基礎として機能する。
  論文  参考訳（メタデータ） (2024-06-10T08:35:01Z)
• Demystifying Spectral Bias on Real-World Data [2.3020018305241337]
  カーネルリッジ回帰(KRR)とガウス過程(GP)は統計学と機械学習の基本的なツールである。 我々は、データセット間の学習可能性について検討し、複雑なデータセットのスペクトルバイアスを明らかにするために、高度に理想化されたデータ尺度に関連する固有値と固有関数を用いることを示す。
  論文  参考訳（メタデータ） (2024-06-04T18:00:00Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• Local Random Feature Approximations of the Gaussian Kernel [14.230653042112834]
  本稿では,一般的なガウスカーネルと,ランダムな特徴近似を用いてカーネルベースモデルを線形化する手法に着目する。 このような手法は、高周波データをモデル化する際、悪い結果をもたらすことを示すとともに、カーネル近似と下流性能を大幅に改善する新たなローカライズ手法を提案する。
  論文  参考訳（メタデータ） (2022-04-12T09:52:36Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Out-of-Distribution Generalization in Kernel Regression [21.958028127426196]
  トレーニングとテストの分布が異なる場合のカーネル回帰の一般化について検討する。 与えられたカーネルの分布間のミスマッチを定量化する重なり行列を同定する。 本研究では,データ予算に対するトレーニングとテストの配分を最適化する手法を開発し,そのシフトの下で最良のケースと最悪のケースの一般化を求める。
  論文  参考訳（メタデータ） (2021-06-04T04:54:25Z)
• Learning Compositional Sparse Gaussian Processes with a Shrinkage Prior [26.52863547394537]
  本稿では,カーネル選択のスパーシティをホースシュープリアーで処理することにより,カーネル構成を学習するための新しい確率論的アルゴリズムを提案する。 本モデルは,計算時間を大幅に削減した時系列特性をキャプチャし,実世界のデータセット上での競合回帰性能を有する。
  論文  参考訳（メタデータ） (2020-12-21T13:41:15Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystr\"om method [76.73096213472897]
  我々は,データ行列のスペクトル特性を利用して近似保証を改良する手法を開発した。 我々のアプローチは、特異値減衰の既知の速度を持つデータセットのバウンダリが大幅に向上する。 RBFパラメータを変更すれば,改良された境界線と多重発振曲線の両方を実データセット上で観測できることが示される。
  論文  参考訳（メタデータ） (2020-02-21T00:43:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。