論文の概要: Temperon: Full-Time SAM Quality at a Third Less Wall-Clock

• arxiv url: http://arxiv.org/abs/2609.17575v1
• Date: Fri, 31 Jul 2026 11:57:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.572815
• Title: Temperon: Full-Time SAM Quality at a Third Less Wall-Clock
• Title（参考訳）: Temperon:3分の1のウォールクロックでフルタイムのSAM品質を実現
• Abstract要約: テンペロンは、エポック予算の最初の43%の平らなSGD探検家であり、次に予定されていた1つのハンドオフにより、SAMを包装した精錬機に最後のコサインアニールを施した。 精度で最高のフルタイムSAMレシピと一致し、最も難しいターゲットである35%、34%、32%がより早く4つのうちの3つに到達し、発行されたSAM+SGDレシピよりも高いレベルにある。 SAMを早期にスキップすると固定クレジットが購入され、MuonエポックはSAM+SGDエポックの1.50倍の費用がかかる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) doubles the cost of every training step, yet its benefit concentrates where training ends. We study where an expensive training mode should be spent and propose Temperon: a plain-SGD explorer for the first 43% of the epoch budget, then one scheduled hand-off that gives the entire final cosine anneal to a SAM-wrapped Muon refiner. On CIFAR-10/100, SVHN and Tiny ImageNet (five seeds, times reported as epochs-to-target times an idle-GPU-calibrated epoch cost), Temperon matches the best full-time-SAM recipe on accuracy everywhere while reaching the hardest common target 35%, 34% and 32% sooner on three of the four, and sits a tier above the published SAM+SGD recipe at level cost. Ablations make the attribution exact: the Muon refiner is worth +0.85pp with everything else fixed; the explorer's shape and its restarts are worth nothing, and we withdraw them as contributions. Re-running the closest rival, late-phase SAM, at matched budget shows the frontier: it is fastest to every mid-level target, but the tier the Muon refiner buys (0.83 on CIFAR-100, 0.97 on CIFAR-10) is reached by no SGD-refined method in any seed, and on Tiny ImageNet, where Muon buys no tier, the rival simply wins -- the measured boundary of the method. The allocation law transfers to GPT-2 pretraining (full-SAM quality at -29% wall-clock) and GLUE fine-tuning (never worse than full-time SAM at a third of its SAM cost). Two constants organize the economics: skipping SAM early buys a fixed credit, and a Muon epoch costs 1.50x a SAM+SGD epoch on all four datasets. Finally, the hand-off cannot be timed from the trajectory: under cosine schedules the accuracy curve is plateau-then-surge, so the information lives in the schedule, making the scheduled switch principled rather than convenient. Code and a pip-installable implementation are released.
• Abstract（参考訳）: SAM(Sharpness-aware minimization)はトレーニングステップのコストを2倍にしますが、そのメリットはトレーニングが終了する場所に集中します。 我々は、高価なトレーニングモードをどこで使うべきかを調査し、Temperonを提案する。Temperonは、エポック予算の最初の43%の平らなSGDエクスプローラーであり、次に、SAMを組み込んだMuon精錬機に最終的なコサインアニールを全部与える予定の1つのハンドオフである。 CIFAR-10/100、SVHN、Tiny ImageNet(5つのシード、時にはアイドルGPUキャリブレーションされたエポックコストと報告される)では、Temperonは最も難しい目標である35%、34%、そして32%の精度で最高のフルタイムSAMレシピと一致し、発行されたSAM+SGDレシピよりも高いレベルにある。 Muon精錬機は+0.85ppの価値があるが、その他は全て固定されており、エクスプローラーの形状と再起動には価値がない。 最寄りのライバルであるラトフェーズSAMの再走は、最上位の予算でのフロンティアを示している。これは、すべての中級ターゲットに最速だが、Muonが購入する層(CIFAR-100で0.83、CIFAR-10で0.97)は、どんな種でもSGD精製されたメソッドに到達し、Tiny ImageNetでは、Muonがティアを購入せず、競合が単にメソッドのバウンダリで勝っている。 割り当て法は、GPT-2事前訓練(全SAM品質:29%ウォールクロック)とGLUEファインチューニング(SAMコストの3分の1はフルタイムSAMよりも悪い)に移行する。 SAMを早期にスキップすると固定クレジットが購入され、MuonエポックはSAM+SGDエポックの1.50倍の費用がかかる。 余分なスケジュールの下では、精度曲線はプラトーテンサージなので、情報はスケジュールに留まり、スケジュールされたスイッチは便利ではなく、原則化される。 コードとpip- installable実装がリリースされている。

関連論文リスト

• SAM+D: Parameter-Efficient Dimensional Lifting of SAM-Family Models via Depth-Routed LoRA and Depth Shifting [13.388638483362628]
  textbfSAM+Dはパラメータ効率のよいフレームワークで、SAMファミリーモデルを1つの空間次元で持ち上げる。 textbfSAM+Dは2つの軽量モデルに依存しないモジュールを凍結トランスフォーマーブロックに導入する。 textbfSAM+DはSAMファミリーアーキテクチャ、ターゲット次元(3D, 4D)、医用画像とバイオシーン理解にまたがる領域を一般化する。
  論文  参考訳（メタデータ） (2026-07-31T05:11:25Z)
• SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM [82.27086968525381]
  長い尾のシナリオにおける一般化を改善するには、頭と尾のクラス間の注意深いバランスが必要であると論じる。 SAMもImbSAMもこのバランスを完全に達成できないことを示す。 ImbSAMとSAMの相補的な強度を段階的アプローチで利用したSSE-SAM(Stage-wise Saddle Escaping SAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-18T10:53:36Z)
• SAMPa: Sharpness-aware Minimization Parallelized [51.668052890249726]
  シャープネス認識(SAM)はニューラルネットワークの一般化を改善することが示されている。 SAMの更新には2つの勾配を瞬時に計算する必要がある。 我々は,SAMPaと呼ばれるSAMの簡単な修正を提案し,この2つの勾配計算を完全に並列化することができる。
  論文  参考訳（メタデータ） (2024-10-14T16:21:23Z)
• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Improving SAM Requires Rethinking its Optimization Formulation [57.601718870423454]
  Sharpness-Aware Minimization (SAM) は、もともとネットワークの重みと有界摂動がそれぞれ同じ差分損失を最小/最大化しようとするゼロサムゲームとして定式化されている。 我々は SAM を 0-1 の損失を用いて再定式化すべきであると主張する。連続緩和として、最小化(最大化)プレイヤーが 0-1 の損失に対して上界(より下界)をサロゲートする単純なアプローチに従う。これは BiSAM と呼ばれる双レベル最適化問題として SAM の新たな定式化につながる。
  論文  参考訳（メタデータ） (2024-07-17T20:22:33Z)
• Improving Sharpness-Aware Minimization with Fisher Mask for Better Generalization on Language Models [93.85178920914721]
  限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。 本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。 FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T14:53:58Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。