論文の概要: Loop Corrections to the Training and Generalization Errors of Random Feature Models

• arxiv url: http://arxiv.org/abs/2604.12827v1
• Date: Tue, 14 Apr 2026 14:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.514599
• Title: Loop Corrections to the Training and Generalization Errors of Random Feature Models
• Title（参考訳）: ランダム特徴モデルの訓練・一般化誤差に対するループ補正
• Authors: Taeyoung Kim,
• Abstract要約: 平均カーネル近似を超えるトレーニング,テスト,一般化誤差について検討する。 有効場理論の枠組みの中で、これらの有限幅の寄与はループ補正として自然に現れる。 ループ補正をトレーニング,テスト,一般化の誤差に導出し,そのスケーリング法則を取得し,実験検証による理論の支持を行う。
• 参考スコア（独自算出の注目度）: 11.824913874212802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate random feature models in which neural networks sampled from a prescribed initialization ensemble are frozen and used as random features, with only the readout weights optimized. Adopting a statistical-physics viewpoint, we study the training, test, and generalization errors beyond the mean-kernel approximation. Since the predictor is a nonlinear functional of the induced random kernel, the ensemble-averaged errors depend not only on the mean kernel but also on higher-order fluctuation statistics. Within an effective field-theoretic framework, these finite-width contributions naturally appear as loop corrections. We derive the loop corrections to the training, test, and generalization errors, obtain their scaling laws, and support the theory with experimental verification.
• Abstract（参考訳）: 所定の初期化アンサンブルからサンプリングされたニューラルネットワークを凍結し,ランダムな特徴として用いるランダム特徴モデルについて検討し,読み出し重みのみを最適化した。 統計的・物理的な観点から、平均カーネル近似を超えたトレーニング、テスト、一般化誤差について検討する。 予測子は誘導されたランダムカーネルの非線形関数であるため、アンサンブル平均誤差は平均カーネルだけでなく、高次変動統計にも依存する。 有効場理論の枠組みの中で、これらの有限幅の寄与はループ補正として自然に現れる。 ループ補正をトレーニング,テスト,一般化の誤差に導出し,そのスケーリング法則を取得し,実験検証による理論の支持を行う。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• On the Inherent Regularization Effects of Noise Injection During Training [12.614901374282868]
  本稿では,学習データに人工雑音を注入することに対応する無作為摂動の一方法に関する理論的研究について述べる。 このようなランダム摂動学習問題の訓練と一般化誤差をランダム特徴モデル上で高精度に評価する。
  論文  参考訳（メタデータ） (2021-02-15T07:43:18Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。