論文の概要: UTA: Universal Training Adaptive Learning Rate Decay

• arxiv url: http://arxiv.org/abs/2610.35113v1
• Date: Mon, 26 Oct 2026 09:53:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.818589
• Title: UTA: Universal Training Adaptive Learning Rate Decay
• Title（参考訳）: UTA:Universal Training Adaptive Learning Rate Decay
• Abstract要約: 閉ループ形状・スケール問題として,Universal Training Adaptive (UTA) LRDを提案する。 連続時間定式化により、UTAはセグメントワイドの最適形状に適応する訓練状態となる。 経験的には、ImageNet上の言語モデル(LLaMA 60Mから1B)とビジョンモデル(ResNet50、ViT-B)間で一貫した改善を実証する。
• 参考スコア（独自算出の注目度）: 45.22244852336667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning rate decay (LRD) is critical for training high-performance models, yet most designs remain empirically driven. Although the Universal Budget Aware (UBA) LRD offers a theoretical framework, its reliance on SGD dynamics limits its applicability to modern Adam-type optimizers and leaves its key `optimization difficulty parameter' opaque. To bridge this gap, we propose the Universal Training Adaptive (UTA) LRD. Unlike UBA's fixed offline trajectory anchored solely to iterations, UTA treats LRD as a closed-loop shape-and-scale problem. By continuous-time formulation, UTA is training-state adaptive with segment-wise optimal shape. This adaptivity links external iterations with internal training states, enabling a near-optimal path in both progression shape and learning rate (LR) scale, a property unattainable by other LRDs, including UBA. Empirically, we demonstrate consistent improvements across language models (LLaMA 60M to 1B) and vision models (ResNet50, ViT-B) on ImageNet with plug-and-play ease and negligible overhead. Extensive ablation studies further confirm UTA's robustness across dimensions, including peak LR, final decay ratio, its parameter $\varphi_0$, component efficacy and generalization to fine-tuning scenarios, underscoring its practical implementability.
• Abstract（参考訳）: 学習速度減衰(LRD)は高性能モデルの訓練には不可欠であるが、ほとんどの設計は実証的に駆動されている。 UBA (Universal Budget Aware) LRDは理論的な枠組みを提供するが、SGDのダイナミックスに依存しているため、現代のアダム型オプティマイザへの適用が制限され、キーとなる「最適化困難パラメータ」が不透明になる。 このギャップを埋めるため、我々はUniversal Training Adaptive (UTA) LRDを提案する。 UBAの固定されたオフライン軌道はイテレーションのみに固定されているが、UDAはRDDを閉ループ形状とスケールの問題として扱う。 連続時間定式化により、UTAはセグメントワイドの最適形状に適応する訓練状態となる。 この適応性は、外部の反復と内部の訓練状態とを結びつけることで、UBAを含む他のRDDでは達成できない性質である進行形状と学習速度(LR)スケールの両方において、ほぼ最適パスを可能にする。 実験では,ImageNet上の言語モデル (LLaMA 60Mから1B) とビジョンモデル (ResNet50, ViT-B) を,プラグアンドプレイの容易さと無視可能なオーバーヘッドで一貫した改善を実証した。 広範囲にわたるアブレーション研究により、最大LR、最終崩壊比、パラメータ$\varphi_0$、コンポーネントの有効性、微調整シナリオへの一般化など、UTAの寸法間の堅牢性をさらに確認し、その実用性を示している。

関連論文リスト

• DRIFT: Decoupled Rollouts and Importance-Weighted Fine-Tuning for Efficient Multi-Turn Optimization [37.598637850911]
  大規模言語モデルは、マルチターンのインタラクティブな設定にますますデプロイされている。 オンライン強化学習は、マルチターンダイナミックスに効果的に対処できるが、完全な修正軌道を生成するコストのため、非常に高価である。 オフラインの教師付き微調整は効率的だが、分散シフトと行動崩壊に悩まされる。 DRIFTは、KL正規化RL目標が重み付き教師あり学習と等価であるという理論的洞察を運用するフレームワークである。
  論文  参考訳（メタデータ） (2026-05-29T15:49:13Z)
• One LR Doesn't Fit All: Heavy-Tail Guided Layerwise Learning Rates for LLMs [19.49856488618013]
  レイヤワイズラーニングレート(レイヤワイズラーニングレート、Layerwise Learning Rate、LLR)は、個々のトランスフォーマー層に異なるラーニングレートを割り当てる適応型スキームである。 LLRは最大1.5倍のトレーニングスピードアップを実現し、一様学習率ベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-21T10:46:23Z)
• From AR to Diffusion: Efficiently Adapting Large Language Models with Strictly Causal and Elastic Horizons [74.25767873168745]
  拡散モデルは効率的な並列テキスト生成を約束するが、双方向の注意に依存し、事前訓練された自己回帰(AR)モデルによる構造的ミスマッチを生成する。 本稿では,ARバックボーンを拡散パラダイムに効率的に適応するフレームワークであるFLUIDを提案する。 実験により、FLUIDは訓練コストを桁違いに削減しつつ、最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-04-11T13:18:27Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models [71.9060068259379]
  汎用推論モデルを構築するために,ケースド・ドメインワイド強化学習を提案する。 私たちの14Bモデルは、RLの後、LiveCodeBench v5/v6 ProでSFTの教師であるDeepSeek-R1-0528を上回り、インフォマティクスにおける2025 International Olympiad in Informatics (IOI)における銀の医療性能を上回りました。
  論文  参考訳（メタデータ） (2025-12-15T18:02:35Z)
• DRL: Discriminative Representation Learning with Parallel Adapters for Class Incremental Learning [63.65467569295623]
  本稿では,これらの課題に対処するための差別的表現学習(DRL)フレームワークを提案する。 逐次学習を効果的かつ効率的に行うために、DRLのネットワークはPTM上に構築される。 我々のDRLは、CIL時代を通して、他の最先端の手法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2025-10-14T03:19:15Z)
• Lightweight Modular Parameter-Efficient Tuning for Open-Vocabulary Object Detection [2.1155908599769764]
  パラメータ効率の良いオープン語彙オブジェクト検出のための軽量なモジュラーフレームワークUniProj-Detを提案する。 UniProj-Detは事前訓練されたバックボーンを凍結し、学習可能なモダリティトークンを備えたユニバーサル・プロジェクション・モジュールを導入し、最小限のコストで視覚-言語適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-20T12:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。