論文の概要: Understanding the Mechanisms of Fast Hyperparameter Transfer

• arxiv url: http://arxiv.org/abs/2512.22768v1
• Date: Sun, 28 Dec 2025 04:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.213895
• Title: Understanding the Mechanisms of Fast Hyperparameter Transfer
• Title（参考訳）: 高速ハイパーパラメータ移動機構の解明
• Authors: Nikhil Ghosh, Denny Wu, Alberto Bietti,
• Abstract要約: 我々は,HP転送を大規模に推論するための概念的枠組みを開発する。 高速転送は計算-最適グリッド探索に有用であることを示す。 最適化軌道の分解は損失低減に2つの寄与があることを推測する。
• 参考スコア（独自算出の注目度）: 32.897434302747506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The growing scale of deep learning models has rendered standard hyperparameter (HP) optimization prohibitively expensive. A promising solution is the use of scale-aware hyperparameters, which can enable direct transfer of optimal HPs from small-scale grid searches to large models with minimal performance loss. To understand the principles governing such transfer strategy, we develop a general conceptual framework for reasoning about HP transfer across scale, characterizing transfer as fast when the suboptimality it induces vanishes asymptotically faster than the finite-scale performance gap. We show formally that fast transfer is equivalent to useful transfer for compute-optimal grid search, meaning that transfer is asymptotically more compute-efficient than direct tuning. While empirical work has found that the Maximal Update Parameterization ($μ$P) exhibits fast transfer when scaling model width, the mechanisms remain poorly understood. We show that this property depends critically on problem structure by presenting synthetic settings where transfer either offers provable computational advantage or fails to outperform direct tuning even under $μ$P. To explain the fast transfer observed in practice, we conjecture that decomposing the optimization trajectory reveals two contributions to loss reduction: (1) a width-stable component that determines the optimal HPs, and (2) a width-sensitive component that improves with width but weakly perturbs the HP optimum. We present empirical evidence for this hypothesis across various settings, including large language model pretraining.
• Abstract（参考訳）: ディープラーニングモデルの大規模化により、標準ハイパーパラメータ(HP)最適化は極めて高価になっている。 期待できる解決策は、小規模グリッドサーチからパフォーマンス損失を最小限に抑えた大規模モデルへの最適なHPの直接転送を可能にする、スケール対応ハイパーパラメータの使用である。 このような転送戦略を規定する原則を理解するため,我々は,HP転送をスケールにわたって推論する一般的な概念的枠組みを開発し,それが引き起こす準最適性が,有限スケールのパフォーマンスギャップよりも漸近的に速く消える場合に,転送を高速に特徴付ける。 我々は,高速転送が計算最適グリッド探索の有用な転送に等価であること,すなわち転送が直接チューニングよりも漸近的に計算効率が高いことを正式に示す。 経験的な研究により、最大更新パラメータ化(μ$P)はモデル幅のスケーリング時に高速な転送を示すが、メカニズムは理解されていない。 この特性が問題構造に大きく依存していることは、転送が証明可能な計算上の優位性を提供するか、あるいは$μ$P以下でも直接チューニングを上回らないような合成設定を提示することによって示される。 実際に観測された高速転送を説明するために,最適化軌道の分解は,(1)最適HPを決定する幅安定成分,(2)幅を改良する幅感受性成分の2つの損失低減への寄与を明らかにする。 我々は,この仮説の実証的証拠を,大規模言語モデル事前学習を含む様々な設定で提示する。

関連論文リスト

• Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales [55.91454326946738]
  学習速度と減量率の最適化は,幅広い言語に対して,モデルの幅と深さでどのようにスケールするかを検討する。 我々は、$Pによる学習率のスケーリングは転送を改善するが、それでもかなりの有限幅偏差に悩まされる可能性があることを見出した。 計算-最適スケーリングでは、独立したウェイト崩壊が1/mathrmwidth$で言語間でほぼ最適であることが分かる。
  論文  参考訳（メタデータ） (2025-12-05T11:03:41Z)
• Nemotron-Flash: Towards Latency-Optimal Hybrid Small Language Models [97.55009021098554]
  本研究の目的は、SLMのリアルタイムレイテンシの主要な決定要因を特定し、SLMの設計とトレーニングのための一般化可能な原則と方法論を提供することである。 我々はNemotron-Flashと呼ばれるハイブリッドSLMの新たなファミリーを導入し、最先端SLMの精度・効率のフロンティアを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-11-24T08:46:36Z)
• Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics [64.62231094774211]
  ステートフル(例えばアダム)は、最適収束を達成するために、モデルサイズを2倍も補助情報を維持する。 SOLOにより、アダムスタイルは3ビットまたは2ビットの精度で量子化された状態を維持することができる。 したがって、SOLOはAdamスタイルにシームレスに適用でき、精度の低下を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2025-05-01T06:47:45Z)
• Memory Efficient Transformer Adapter for Dense Predictions [42.413108132475855]
  本稿では,メモリ効率を向上し,メモリ消費を低減できるメモリ効率の良いViTアダプタMETAを提案する。 提案するブロック内では、モデルの頻繁な再形成操作を減らすために、断面形状の自己注意が使用される。 METAは予測される品質を大幅に向上し、新しい最先端の精度効率トレードオフを実現している。
  論文  参考訳（メタデータ） (2025-02-04T03:19:33Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Improving Multi-fidelity Optimization with a Recurring Learning Rate for Hyperparameter Tuning [7.591442522626255]
  再帰学習率(MORL)を考慮した多相最適化を提案する。 MORLはCNNの最適化プロセスを多要素最適化に組み込んでいる。 スロースタートの問題を緩和し、より正確な低忠実度近似を実現する。
  論文  参考訳（メタデータ） (2022-09-26T08:16:31Z)
• ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise [20.779167087445995]
  事前訓練されたトランスフォーマーベースの言語モデルは、多くの自然言語理解タスクにおいて劇的に改善されている。 ScaLAは変圧器ネットワークの高速化のための,新規かつ効率的な手法である。 実験の結果、ScaLAはBERTベースのRoBERTa-large上でGLLAのベースライン上で2.7-UE-9.8$times$アダプティブ・スピードアップを達成した。
  論文  参考訳（メタデータ） (2022-01-29T01:47:01Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。