論文の概要: Precise asymptotic analysis of Sobolev training for random feature models

• arxiv url: http://arxiv.org/abs/2511.03050v1
• Date: Tue, 04 Nov 2025 22:49:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.265944
• Title: Precise asymptotic analysis of Sobolev training for random feature models
• Title（参考訳）: ランダム特徴モデルのためのソボレフ訓練の高精度漸近解析
• Authors: Katharine E Fisher, Matthew TC Li, Youssef Marzouk, Timo Schorlepp,
• Abstract要約: 本研究では,ソボレフトレーニングが高次元の予測モデルの一般化誤差に及ぼす影響について検討した。 本研究は,雑音関数と勾配データを補間することにより,モデルが最適に機能する設定を同定する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient information is widely useful and available in applications, and is therefore natural to include in the training of neural networks. Yet little is known theoretically about the impact of Sobolev training -- regression with both function and gradient data -- on the generalization error of highly overparameterized predictive models in high dimensions. In this paper, we obtain a precise characterization of this training modality for random feature (RF) models in the limit where the number of trainable parameters, input dimensions, and training data tend proportionally to infinity. Our model for Sobolev training reflects practical implementations by sketching gradient data onto finite dimensional subspaces. By combining the replica method from statistical physics with linearizations in operator-valued free probability theory, we derive a closed-form description for the generalization errors of the trained RF models. For target functions described by single-index models, we demonstrate that supplementing function data with additional gradient data does not universally improve predictive performance. Rather, the degree of overparameterization should inform the choice of training method. More broadly, our results identify settings where models perform optimally by interpolating noisy function and gradient data.
• Abstract（参考訳）: グラディエント情報はアプリケーションで広く利用でき、ニューラルネットワークのトレーニングに含めるのは自然である。 しかし、ソボレフトレーニング(関数と勾配データの回帰)が高次元の高度に過度にパラメータ化された予測モデルの一般化誤差に与える影響について理論的にはほとんど知られていない。 本稿では、トレーニング可能なパラメータ数、入力次元、トレーニングデータが無限大に比例する極限における、ランダム特徴量(RF)モデルのこのトレーニングモータリティを正確に評価する。 ソボレフトレーニングのモデルは、勾配データを有限次元部分空間にスケッチすることで実践的な実装を反映する。 統計物理学からのレプリカ法と演算子値自由確率理論の線形化を組み合わせることにより、訓練されたRFモデルの一般化誤差に対する閉形式記述を導出する。 単一インデックスモデルにより記述された対象関数に対して、追加の勾配データによる補足関数データが予測性能を普遍的に改善しないことを示す。 むしろ、過パラメータ化の度合いは、訓練方法の選択を知らせるべきである。 より広範に、ノイズ関数と勾配データを補間することにより、モデルが最適に機能する設定を同定する。

関連論文リスト

• Tensor Network Based Feature Learning Model [6.101839518775971]
  特徴学習(FL)モデルは、学習可能な正準多元分解(CPD)としてテンソル積の特徴を表す 本研究では,様々な次元とスケールの実データを用いた実験により,FLモデルの有効性を実証する。
  論文  参考訳（メタデータ） (2025-12-02T09:17:21Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Deep Partially Linear Transformation Model for Right-Censored Survival Data [6.315323176162257]
  本稿では, 汎用かつ柔軟な回帰フレームワークとして, 深部部分線形変換モデル(DPLTM)を提案する。 提案手法は, 興味あるコセンサーの解釈可能性を維持しつつ, 次元の呪いを避けることができる。 総合シミュレーション研究は,提案手法の精度と予測力の両面から,優れた性能を示すものである。
  論文  参考訳（メタデータ） (2024-12-10T15:50:43Z)
• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Generalizing Backpropagation for Gradient-Based Interpretability [103.2998254573497]
  モデルの勾配は、半環を用いたより一般的な定式化の特別な場合であることを示す。 この観測により、バックプロパゲーションアルゴリズムを一般化し、他の解釈可能な統計を効率的に計算することができる。
  論文  参考訳（メタデータ） (2023-07-06T15:19:53Z)
• Linear Stability Hypothesis and Rank Stratification for Nonlinear Models [3.0041514772139166]
  モデルランクを「パラメータの有効サイズ」として発見するための一般非線形モデルのためのランク階層化を提案する。 これらの結果から、目標関数のモデルランクは、その回復を成功させるために、最小限のトレーニングデータサイズを予測する。
  論文  参考訳（メタデータ） (2022-11-21T16:27:25Z)
• Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent [11.483919798541393]
  本研究では,無作為なサンプルノイズ観測から逆問題解くために,ソボレフの勾配降下ノルムの統計的限界について検討する。 我々の目的関数のクラスには、カーネル回帰のためのソボレフトレーニング、Deep Ritz Methods(DRM)、Physical Informed Neural Networks(PINN)が含まれる。
  論文  参考訳（メタデータ） (2022-05-15T17:01:53Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。