論文の概要: Optimal Training-Time Scaling in Gradual Adaptation

• arxiv url: http://arxiv.org/abs/2608.04927v1
• Date: Wed, 05 Aug 2026 14:55:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 14:48:43.965168
• Title: Optimal Training-Time Scaling in Gradual Adaptation
• Title（参考訳）: 経時的適応における最適トレーニング-時間スケーリング
• Authors: Zonghuan Xu, Krishna Harish,
• Abstract要約: 最適タスク毎のトレーニング時間は、$s_Nstar=(N-1)$、同等に$Ns_Nstar=(1)$にスケールする。 徐々に回転するMNISTと自然年鑑のタイムシフトの実験は、パスがより細かく分割されるため、タスク毎のトレーニングの少ないものと一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In gradual adaptation, how should the training time on each task change as the number of intermediate tasks increases? We study this question for overparameterized linear regression tasks that change smoothly and share a zero-loss solution. With $N$ tasks and training time $s_N$ on each, the final learning progress converges to a continuum curve when $Ns_N\toτ$. The limiting progress is $Θ(τ)$ for small $τ$ and $Θ(τ^{-1})$ for large $τ$, so both very short and very long training produce little progress. It follows that optimal per-task training times scale as $s_N^\star=Θ(N^{-1})$, equivalently $Ns_N^\star=Θ(1)$. Experiments on gradually rotated MNIST and a natural Yearbook time shift are consistent with less per-task training as the path is divided more finely.
• Abstract（参考訳）: 段階的適応では、中間タスクの数が増加するにつれて、各タスクのトレーニング時間はどのように変化するのか? 本研究では, 線形回帰タスクの過パラメータ化について検討し, 円滑に変化し, ゼロロス解を共有する。 それぞれに$N$タスクとトレーニング時間$s_N$で、最終的な学習進捗は、$Ns_N\toτ$のときに連続曲線に収束する。 限定的な進歩は、小さな$τ$に対して$(τ)$と大きな$τ$に対して$(τ^{-1})$であるので、非常に短い訓練と非常に長い訓練の両方がほとんど進歩しない。 最適なタスク毎のトレーニング時間は、$s_N^\star = (N^{-1})$、同等に$Ns_N^\star = (1)$とスケールする。 徐々に回転するMNISTと自然年鑑のタイムシフトの実験は、パスがより細かく分割されるため、タスク毎のトレーニングの少ないものと一致している。

関連論文リスト

• From Continual Learning to SGD and Back: Better Rates for Continual Linear Models [50.11453013647086]
  以前見られたタスクの損失を、$k$の繰り返しの後、忘れること、すなわち、分析する。 実現可能な最小二乗の設定において、新しい最上界を創出する。 我々は、タスクを繰り返しないランダム化だけで、十分に長いタスクシーケンスで破滅的な事態を防げることを初めて証明した。
  論文  参考訳（メタデータ） (2025-04-06T18:39:45Z)
• Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations [51.14495595270775]
  我々は,Frank-Wolfeアルゴリズムを$L_1$のペナル化線形回帰に適応させ,スパース入力を認識し,有効利用する。 この方法では,プライバシパラメータ$epsilon$の値とデータセットの分散度に応じて,最大2,200times$の係数でランタイムを削減できることを示す。
  論文  参考訳（メタデータ） (2023-10-30T19:52:43Z)
• Regret-Optimal Federated Transfer Learning for Kernel Regression with Applications in American Option Pricing [8.723136784230906]
  本稿では、中央プランナーがデータセットにアクセス可能なフェデレーショントランスファー学習のための最適反復スキームを提案する。 我々の目標は、生成されたパラメータの累積偏差を$thetai(t)_t=0T$で最小化することである。 後悔と最適化のアルゴリズム内で対称性を活用することで, $mathcalO(Np2)$少なめの初等演算を伴って動作する,ほぼ後悔のいく$_optimalを開発する。
  論文  参考訳（メタデータ） (2023-09-08T19:17:03Z)
• Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
  我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。 我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
  論文  参考訳（メタデータ） (2023-05-13T01:10:49Z)
• Near-Optimal Regret Bounds for Multi-batch Reinforcement Learning [54.806166861456035]
  本研究では,有限水平マルコフ決定過程(MDP)によってモデル化されたエピソディック強化学習(RL)問題をバッチ数に制約を加えて検討する。 我々は,$tildeO(sqrtSAH3Kln (1/delta))$tildeO(cdot)をほぼ最適に後悔するアルゴリズムを設計し,$(S,A,H,K)$の対数項を$K$で隠蔽する。 技術的貢献は2つある: 1) 探索のためのほぼ最適設計スキーム
  論文  参考訳（メタデータ） (2022-10-15T09:22:22Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。