論文の概要: Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent

• arxiv url: http://arxiv.org/abs/2609.16262v1
• Date: Mon, 14 Sep 2026 19:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.211414
• Title: Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent
• Title（参考訳）: リッジグラディエント・ディフレッシュにおける最適プレトレイン-フィン・チューン
• Abstract要約: 一定のトレーニング予算の下では、上流目標の改善に費やされた計算は、下流適応に利用可能な計算を減らす。 我々は,この割り当てを,固定された全最適化予算を持つ2段階のプレトレイン・ファインチューン手順の下で計算分割問題とみなした。 以上の結果から,事前学習方向が微調整予測にどのように影響するか,下流データ幾何による微調整シフトがどのように影響するかが示唆された。
• 参考スコア（独自算出の注目度）: 18.338094508559468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretraining followed by fine-tuning introduces a compute-allocation problem: under a fixed training budget, compute spent improving the upstream objective reduces the compute available for downstream adaptation. Despite its practical importance, this trade-off is not yet well understood theoretically, even in simple models. In this paper, we cast this allocation as a compute-split problem under a two-stage pretrain--fine-tune procedure with fixed total optimisation budget, using regularised least squares trained by gradient descent as a tractable setting. We characterise the optimal split under data-dependent evaluation geometries induced by the fine-tuning problem. Our results show that the allocation depends on how pretraining directions affect fine-tuning predictions and how fine-tuning shifts are seen through downstream data geometry. In particular, the relevant quantities are determined by prediction-relevant spectral components of the pretraining and fine-tuning empirical covariances. Technically, the analysis relies on a basis-invariant, eigenspace-level spectral decomposition, together with perturbative control of the non-commuting pretraining and fine-tuning dynamics.
• Abstract（参考訳）: 修正トレーニング予算の下では、上流目標の改善に費やされた計算は、下流適応に利用可能な計算を減らす。 実用的重要性にもかかわらず、このトレードオフはまだ理論上は、単純なモデルでも十分に理解されていない。 本稿では, 勾配降下法により訓練された正則最小二乗法を用いて, 固定された全最適化予算付き2段階プレトレイン・ファイン・チューン法の下で, 計算分割問題としてこの割り当てを行った。 微調整問題によって誘導されるデータ依存評価測度の下で最適分割を特徴付ける。 以上の結果から,事前学習方向が微調整予測にどのように影響するか,下流データ幾何による微調整シフトがどのように影響するかが示唆された。 特に、関連する量は、事前学習および微調整された経験的共分散の予測関連スペクトル成分によって決定される。 技術的には、解析は基底不変な固有空間レベルのスペクトル分解と非可換事前学習と微調整力学の摂動制御に依存している。

関連論文リスト

• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• On Optimal Data Splitting for Split Conformal Prediction [0.7205546587515871]
  分割共形予測における最適なデータ分割のための理論的枠組みを開発する。 一般的な結果が、よく使われる回帰設定にどのように特化しているかを示す。 本分析は,モデルに関連した特徴が,トレーニングとキャリブレーションの間のサンプルの最適割り当てをどのように支配するかを明らかにする。
  論文  参考訳（メタデータ） (2026-06-30T12:49:44Z)
• Exact Posterior Score Estimation for Solving Linear Inverse Problems [32.51816945978934]
  拡散モデルとフローベースモデルは、ガウスの汚職を逆転させるためにデノイザーを訓練することで、強力なデータ先行を学習する。 既存の方法は、近似的な測定マッチング補正で固定された事前訓練されたデノイザを操るか、あるいは前者のデノイズ構造を捨てた条件付き復元モデルを訓練するかのいずれかである。 我々はこのアイデンティティを,標準事前学習の入出力構造を保存した学習目標であるExact Posterior Score(EPS)に変換する。
  論文  参考訳（メタデータ） (2026-06-15T17:58:22Z)
• Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning [16.158545640309438]
  我々は勾配流学習のための統計的推論フレームワークを開発した。 トレーニング時間は、分散が再配置される方法を決定する分散成分パラメータになる。 固定勾配系における深層学習モデルは、理論の現代AIインスタンス化を提供する。
  論文  参考訳（メタデータ） (2026-05-27T05:32:24Z)
• Direct Learning of Calibration-Aware Uncertainty for Neural PDE Surrogates [0.0]
  相互規則化された不確実性は、保持された正規化分割を経由した経路を用いた訓練中の不確実性パラメータを学習する。 予測器はトレーニングスプリットに適合するように最適化され、低次元の不確実性制御は正規化スプリットに最適化され、列車テストミスマッチを低減する。 フーリエ・ニューラル・オペレーターのアプローチをインスタンス化し、観測された分数およびトレーニングセットのサイズに対して APEBench sweeps の評価を行う。
  論文  参考訳（メタデータ） (2026-02-11T17:57:20Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
  我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。 ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2025-07-27T13:34:32Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。