論文の概要: Precise asymptotic analysis of Sobolev training for random feature models

• arxiv url: http://arxiv.org/abs/2511.03050v1
• Date: Tue, 04 Nov 2025 22:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.265944
• Title: Precise asymptotic analysis of Sobolev training for random feature models
• Title（参考訳）: ランダム特徴モデルのためのソボレフ訓練の高精度漸近解析
• Authors: Katharine E Fisher, Matthew TC Li, Youssef Marzouk, Timo Schorlepp,
• Abstract要約: 本研究では,ソボレフトレーニングが高次元の予測モデルの一般化誤差に及ぼす影響について検討した。 本研究は,雑音関数と勾配データを補間することにより,モデルが最適に機能する設定を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient information is widely useful and available in applications, and is therefore natural to include in the training of neural networks. Yet little is known theoretically about the impact of Sobolev training -- regression with both function and gradient data -- on the generalization error of highly overparameterized predictive models in high dimensions. In this paper, we obtain a precise characterization of this training modality for random feature (RF) models in the limit where the number of trainable parameters, input dimensions, and training data tend proportionally to infinity. Our model for Sobolev training reflects practical implementations by sketching gradient data onto finite dimensional subspaces. By combining the replica method from statistical physics with linearizations in operator-valued free probability theory, we derive a closed-form description for the generalization errors of the trained RF models. For target functions described by single-index models, we demonstrate that supplementing function data with additional gradient data does not universally improve predictive performance. Rather, the degree of overparameterization should inform the choice of training method. More broadly, our results identify settings where models perform optimally by interpolating noisy function and gradient data.
• Abstract（参考訳）: グラディエント情報はアプリケーションで広く利用でき、ニューラルネットワークのトレーニングに含めるのは自然である。 しかし、ソボレフトレーニング(関数と勾配データの回帰)が高次元の高度に過度にパラメータ化された予測モデルの一般化誤差に与える影響について理論的にはほとんど知られていない。 本稿では、トレーニング可能なパラメータ数、入力次元、トレーニングデータが無限大に比例する極限における、ランダム特徴量(RF)モデルのこのトレーニングモータリティを正確に評価する。 ソボレフトレーニングのモデルは、勾配データを有限次元部分空間にスケッチすることで実践的な実装を反映する。 統計物理学からのレプリカ法と演算子値自由確率理論の線形化を組み合わせることにより、訓練されたRFモデルの一般化誤差に対する閉形式記述を導出する。 単一インデックスモデルにより記述された対象関数に対して、追加の勾配データによる補足関数データが予測性能を普遍的に改善しないことを示す。 むしろ、過パラメータ化の度合いは、訓練方法の選択を知らせるべきである。 より広範に、ノイズ関数と勾配データを補間することにより、モデルが最適に機能する設定を同定する。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Deep Partially Linear Transformation Model for Right-Censored Survival Data [6.315323176162257]
  本稿では, 汎用かつ柔軟な回帰フレームワークとして, 深部部分線形変換モデル(DPLTM)を提案する。 提案手法は, 興味あるコセンサーの解釈可能性を維持しつつ, 次元の呪いを避けることができる。 総合シミュレーション研究は,提案手法の精度と予測力の両面から,優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-12-10T15:50:43Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Linear Stability Hypothesis and Rank Stratification for Nonlinear Models [3.0041514772139166]
  モデルランクを「パラメータの有効サイズ」として発見するための一般非線形モデルのためのランク階層化を提案する。 これらの結果から、目標関数のモデルランクは、その回復を成功させるために、最小限のトレーニングデータサイズを予測する。
  論文  参考訳（メタデータ） (2022-11-21T16:27:25Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。