論文の概要: Minimax-optimal Scaling Laws in Ridge Regression via Transfer Learning
- arxiv url: http://arxiv.org/abs/2610.23337v1
- Date: Fri, 16 Oct 2026 11:41:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.906396
- Title: Minimax-optimal Scaling Laws in Ridge Regression via Transfer Learning
- Title（参考訳）: 伝達学習による尾根回帰の最小最適スケーリング法則
- Abstract要約: 本稿では,転送学習の手法がスケーリング法則の面で大幅な性能向上をもたらすことを示す。
結果のスケーリング法則がminimax-Optimal Source regularizationを達成する仕組みを同定する。
また, ワンパス勾配勾配による微調整を行えば, 同じ最適速度が得られることを示す。
- 参考スコア（独自算出の注目度）: 24.41741416479795
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Pretrained models are often reused across downstream tasks, motivating the question of whether this transfer learning procedure can provide a substantial performance improvement, namely, in terms of the scaling law. We address this question in the prototypical setting of high-dimensional regression, where (i) a pretrained \emph{source} model is trained via ridge regression, and (ii) a fine-tuned \emph{target} model is regularized via the $L_2$ distance from the source estimator. First, we establish a deterministic equivalent for the risk of this two-step procedure under both model and covariance shift. Next, by specializing the deterministic equivalent to a shared regression function and commuting power-law covariance spectra, we identify a regime where the resulting scaling law achieves the minimax-optimal exponent. Notably, in this regime, the optimal source regularization depends on source data only, indicating its universality across all targets. Furthermore, we show that the same optimal rate is achieved by performing the fine-tuning step via one-pass stochastic gradient descent. We support our theoretical analysis via experiments on both synthetic settings and language models.
- Abstract（参考訳）: 事前訓練されたモデルはしばしば下流のタスクで再利用され、この移行学習手順が、スケーリング法則の観点から、実質的なパフォーマンス向上をもたらすかどうかという問題を動機付けている。
我々は高次元回帰の原型的設定においてこの問題に対処する。
i)プレトレーニングされた \emph{source} モデルは、リッジレグレッションによってトレーニングされ、
(ii)細調整された \emph{target} モデルは、ソース推定器からの距離$L_2$で正規化される。
まず、モデルシフトと共分散シフトの両方の下で、この2段階の手順のリスクについて決定論的に等価性を確立する。
次に、共有回帰関数に等価な決定性を専門化し、パワー-ロー共分散スペクトルを通勤させることにより、結果のスケーリング法則がミニマックス-最適指数を達成する状態を特定する。
特に、この体制では、最適なソース正則化はソースデータのみに依存し、すべてのターゲットに対して普遍性を示す。
さらに,1パス確率勾配勾配による微調整を行えば,同じ最適速度が得られることを示す。
我々は、合成設定と言語モデルの両方の実験を通して、理論的解析を支援する。
関連論文リスト
- SGD in Multiclass Logistic Regression: Sequential Learning and Scaling Laws [55.81298869922287]
多数のクラスを持つ高次元ガウス混合モデルにおける多クラスロジスティック回帰のトレーニングダイナミクスについて検討する。
我々は,勾配に基づく最適化の下で,クロスエントロピーリスクを規定する厳密なスケーリング法則を確立する。
論文 参考訳（メタデータ） (2026-09-07T18:30:09Z) - Minimax optimal transfer learning for high-dimensional additive regression [0.0]
まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。
そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
論文 参考訳（メタデータ） (2025-09-08T03:16:05Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳（メタデータ） (2025-05-21T07:16:44Z) - Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression [5.801904710149222]
機械学習において、スケーリング法則は、モデルとデータサイズをスケールアップすることで、モデルパフォーマンスがどのように改善されるかを記述する。
本稿では,2次パラメータ化モデルを用いた線形回帰のスケーリング法則について検討する。
その結果、正準線形回帰では、特徴学習による一般化と不要な曲線と、パラメトリゼーション法とアルゴリズムに対する情報理論の下界との明確な分離が提供される。
論文 参考訳（メタデータ） (2025-02-13T09:29:04Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
リッジ回帰に関する最近の結果について統一的な視点を提示する。
我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。
我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。
そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。
勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文 参考訳（メタデータ） (2020-06-04T21:51:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。