論文の概要: AdaGrad-Diff: A New Version of the Adaptive Gradient Algorithm

• arxiv url: http://arxiv.org/abs/2602.13112v1
• Date: Fri, 13 Feb 2026 17:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:54.054053
• Title: AdaGrad-Diff: A New Version of the Adaptive Gradient Algorithm
• Title（参考訳）: AdaGrad-Diff:Adaptive Gradient Algorithmの新バージョン
• Authors: Matia Bojovic, Saverio Salzo, Massimiliano Pontil,
• Abstract要約: 本稿では、勾配ノルム自体よりも連続的な勾配差の累積2乗ノルムによって適応を駆動するAdaGrad型適応法を提案する。 数値実験により,提案手法はAdaGradよりも実用的に関係のあるいくつかの環境で頑健であることが示された。
• 参考スコア（独自算出の注目度）: 23.804220531716847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vanilla gradient methods are often highly sensitive to the choice of stepsize, which typically requires manual tuning. Adaptive methods alleviate this issue and have therefore become widely used. Among them, AdaGrad has been particularly influential. In this paper, we propose an AdaGrad-style adaptive method in which the adaptation is driven by the cumulative squared norms of successive gradient differences rather than gradient norms themselves. The key idea is that when gradients vary little across iterations, the stepsize is not unnecessarily reduced, while significant gradient fluctuations, reflecting curvature or instability, lead to automatic stepsize damping. Numerical experiments demonstrate that the proposed method is more robust than AdaGrad in several practically relevant settings.
• Abstract（参考訳）: バニラ勾配法は、しばしば手動チューニングを必要とするステップサイズの選択に非常に敏感である。 適応的手法はこの問題を緩和し、広く利用されている。 中でもAdaGradは特に影響力がある。 本稿では,AdaGrad型適応手法を提案する。この適応は勾配ノルム自体よりも連続的な勾配差の累積2乗ノルムによって駆動される。 鍵となる考え方は、繰り返し間で勾配がほとんど変化しない場合、ステップサイズは不要に減少しないが、大きな勾配変動は曲率や不安定性を反映し、自動的にステップサイズ減衰を引き起こすことである。 数値実験により,提案手法はAdaGradよりも実用的に関係のあるいくつかの環境で頑健であることが示された。

関連論文リスト

• AdAdaGrad: Adaptive Batch Size Schemes for Adaptive Gradient Methods [17.043034606088234]
  本稿では,AdAdaGradのスカラー変種AdAdaGradNormについて紹介する。 また,画像分類実験を行い,提案手法のメリットを強調した。
  論文  参考訳（メタデータ） (2024-02-17T07:49:50Z)
• Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
  深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。 学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。 本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
  論文  参考訳（メタデータ） (2024-01-06T15:45:29Z)
• How to guess a gradient [68.98681202222664]
  我々は、勾配が以前考えられていたよりもより構造化されていることを示す。 この構造をエクスプロイトすると、勾配のない最適化スキームが大幅に改善される。 厳密な勾配の最適化と勾配の推測の間に大きなギャップを克服する上での新たな課題を強調した。
  論文  参考訳（メタデータ） (2023-12-07T21:40:44Z)
• Grad-GradaGrad? A Non-Monotone Adaptive Stochastic Gradient Method [17.275654092947647]
  そこで我々はGradaGradを紹介した。GradaGradとは,分母の蓄積によって自然に学習率を向上または縮小する手法である。 AdaGradと同様の収束率を示し、実験により非モノトン適応能力を実証する。
  論文  参考訳（メタデータ） (2022-06-14T14:55:27Z)
• Cutting Some Slack for SGD with Adaptive Polyak Stepsizes [35.024680868164445]
  SPS (Stochastic gradient with a Polyak Stepsize) 適応法について考察する。 まず、SPSとその最近の変種は、すべて非線形問題に適用されたパッシブ・攻撃的手法の拡張と見なせることを示す。 我々はこの知見を用いて非線形モデルに適した新しいSPS法を開発した。
  論文  参考訳（メタデータ） (2022-02-24T19:31:03Z)
• The Power of Adaptivity in SGD: Self-Tuning Step Sizes with Unbounded Gradients and Affine Variance [46.15915820243487]
  AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。 AdaGrad-Normは$mathcalOleftのオーダー最適収束を示す。
  論文  参考訳（メタデータ） (2022-02-11T17:37:54Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Regularizing Meta-Learning via Gradient Dropout [102.29924160341572]
  メタ学習モデルは、メタ学習者が一般化するのに十分なトレーニングタスクがない場合、過度に適合する傾向がある。 本稿では,勾配に基づくメタ学習において過度に適合するリスクを軽減するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-04-13T10:47:02Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。