論文の概要: Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
- arxiv url: http://arxiv.org/abs/2605.16017v1
- Date: Fri, 15 May 2026 14:50:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-18 21:22:26.324349
- Title: Accelerated Gradient Descent for Faster Convergence with Minimal Overhead
- Title（参考訳）: 極小オーバーヘッドを用いた高速収束のための加速グラディエント染料
- Authors: Manuel Graca, L. Miguel Silveira, Arlindo Oliveira, Frank Liu,
- Abstract要約: ディープラーニングタスクにおける非プロブレムの最適化手法としてCTAGD(Curature-Tuned Accelerated Gradient)を提案する。
CTAGDは、有限差分商を明示的に用いて一階最適化手法を高速化する一般的な推進法である。
実験により、CT-AGDは基準1次法と同じ精度を達成できるが、必要なエポックを平均で33%削減できることが示された。
- 参考スコア（独自算出の注目度）: 1.9686770963118387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present CT-AGD (Curvature-Tuned Accelerated Gradient Descent), an optimization method for non-convex optimization problems in deep learning training tasks. CT-AGD is a general boosting procedure that accelerates first-order methods by explicitly capturing the local curvature using finite-difference quotients, and the development of heuristics aimed at mitigating noise and bias introduced by stochastic mini-batch training. CT-AGD has a comparable storage and computational overhead as adaptive gradient methods such as Adam. Our extensive experiments demonstrate that CT-AGD achieves the same level of accuracy as the baseline first-order methods, yet reduces the required training epochs by 33% on average.
- Abstract（参考訳）: 本稿では,ディープラーニング学習における非凸最適化問題に対するCT-AGD(Curvature-Tuned Accelerated Gradient Descent)を提案する。
CT-AGDは、有限差分商を用いて局所曲率を明示的に把握し、確率的ミニバッチトレーニングによって生じる雑音やバイアスを緩和するヒューリスティックスの開発により、一階法を高速化する一般的な推進法である。
CT-AGDはAdamのような適応勾配法と同等のストレージと計算オーバーヘッドを持つ。
大規模な実験により,CT-AGDは1次法と同レベルの精度を達成できたが,必要なトレーニングエポックを平均33%削減できた。
関連論文リスト
- Beyond adaptive gradient: Fast-Controlled Minibatch Algorithm for large-scale optimization [1.6749379740049926]
そこで我々は,F-CMA,F-Controlled Mini-batchアルゴリズムを導入し,各エポックあたりの損失低減を確保するために,十分な減少条件とライン探索手順を備えたランダムリシャッフル法を提案する。
テストでは、トレーニング時間全体の68%の削減、エポック毎の効率の最大20%向上、モデル精度の最大5%向上など、大幅な改善が見られた。
論文 参考訳（メタデータ） (2024-11-24T11:46:47Z) - Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - Inverse-Free Fast Natural Gradient Descent Method for Deep Learning [52.0693420699086]
本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。
FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
論文 参考訳（メタデータ） (2024-03-06T05:13:28Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - A New Adaptive Gradient Method with Gradient Decomposition [3.04585143845864]
我々は、勾配降下(SGD)とその加速スキーム(SGDM)に比較して、低次化を一般化するDecGDと呼ばれる新しい適応法を提案する。
本手法は,Adam方式の2乗勾配に代えて,電流損失に基づくベクトルに応じて学習率を適応的に調整する。
我々は、DECGDがSGDMよりも優れた一般化性能を示し、Adam-type法のような高速収束を示すことを示す。
論文 参考訳（メタデータ） (2021-07-18T06:37:28Z) - Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite
Epochs [25.158203665218164]
適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。
我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
論文 参考訳（メタデータ） (2020-06-12T09:39:47Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。