論文の概要: Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
- arxiv url: http://arxiv.org/abs/2607.22906v1
- Date: Fri, 24 Jul 2026 20:50:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.925116
- Title: Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity
- Title（参考訳）: 老化方向から学ぶ:一辺のヘルダー規則の下での適応的グラディエントDescence
- Abstract要約: 一方のHlderは、方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって、その方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向により減少しない方向により減少しない方向により減少しない方向によって減少しない方向によって減少しない方向によって減少しない方向によって、フル勾配変化が増大しない方向によって膨張しない方向によって、効果的な適応的なステップサイズ信号であることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study adaptive gradient descent for continuously differentiable, possibly nonconvex objectives under one-sided Hölder regularity. Unlike classical Hölder- or Lipschitz-gradient assumptions, which control the full gradient variation, our condition bounds only the directional term appearing in the descent inequality. This can allow less conservative step sizes when large gradient changes are orthogonal to, or favorable along, the update direction. We propose an adaptive scalar-step method based on an estimate of positive one-sided Hölder curvature, combined with a simple sufficient-decrease safeguard. For nonconvex objectives on a convex region containing the accepted update segments, we prove an explicit best-iterate stationarity bound with a rate determined by the Hölder exponent. Unlike predetermined diminishing step-size schemes, the method adapts to the local descent geometry. We evaluate the approach on two full-batch benchmarks designed to separate directional curvature from full gradient variation. On a binary classification problem, the method achieves the lowest final cross-entropy, objective value, and gradient norm, together with the largest classification margin among the compared scalar gradient methods. On a nonconvex Hölder regression problem, it attains the lowest final objective gap and gradient norm. These results indicate that one-sided Hölder curvature is an effective adaptive step-size signal when full-gradient variation is inflated by directions that do not hinder descent.
- Abstract（参考訳）: 本研究では,一方のHölder正則性の下で連続的に微分可能で,非凸な対象に対する適応勾配勾配について検討した。
フル勾配変動を制御する古典的ヘルダーやリプシッツの漸進的な仮定とは異なり、我々の条件は降下不等式に現れる方向項のみに制限される。
これにより、大きな勾配変化が更新方向と直交している場合や、好意的な場合には、保守的なステップサイズを小さくすることができる。
本稿では, 正の一側Hölder曲率の推定値と, 簡易な十分な変形安全ガードを併用した適応スカラーステップ法を提案する。
許容された更新セグメントを含む凸領域上の非凸目的に対して、Hölder指数によって決定される速度で有界な最良の定常性を示す。
所定の減少するステップサイズスキームとは異なり、この手法は局所的な降下幾何学に適応する。
方向性曲率を全勾配変動から切り離すために設計された2つのフルバッチベンチマークに対するアプローチを評価する。
二項分類問題では, 比較したスカラー勾配法のうち, 最下位のクロスエントロピー, 客観的値, 勾配ノルム, および最下位の分類限界を達成する。
非凸ヘルダー回帰問題では、最終目標ギャップと勾配ノルムが最低となる。
これらの結果から, 片側ヘルダー曲率は, 降下を妨げない方向によって全勾配変動が膨らませられる場合に, 有効な適応的なステップサイズ信号であることが示唆された。
関連論文リスト
- Semiparametric Efficient Bilevel Gradient Estimation [40.349437034326606]
本研究では,効率的な影響関数に基づく半パラメトリックデバイアス理論を構築した。
我々は、外部パラメータの均一な制御とともに正規性を確立できるクロスフィット型過勾配推定器を確立する。
合成二レベルベンチマークにおいて、この手法は効率的な階調ベンチマークを追跡し、プラグイン機能ハイパーグラディエントと正規化されたカーネルバイレベルベースラインよりも改善する。
論文 参考訳（メタデータ） (2026-05-20T16:07:55Z) - Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning [7.794885131732119]
マルチディストリビューション・ラーニング・セッティングにおいて,平坦性と勾配のアライメントを考慮すべきであることを示す。
両用語を対象とするSAGE(Spectral-Aware Gradient-Aligned Exploration)を提案する。
5つの領域一般化と2つのマルチタスク学習ベンチマーク実験により,提案手法が新たな最先端技術を確立することを示す。
論文 参考訳（メタデータ） (2026-05-08T15:52:34Z) - First-ish Order Methods: Hessian-aware Scalings of Gradient Descent [11.125968799758436]
勾配降下の鍵となる制限は、自然スケーリングの欠如である。
曲率を考慮することで、適応的なヘッセン対応スケーリング手法により、局所的な単位ステップサイズが保証される。
我々は,この手法が標準リプシッツ仮定のかなり弱いバージョンの下でグローバルに収束することを示す。
論文 参考訳（メタデータ） (2025-02-06T01:22:23Z) - Gradient Equilibrium in Online Learning: Theory and Applications [56.02856551198923]
勾配平衡は標準オンライン学習法によって達成される。
勾配平衡は、オンライン予測問題において解釈可能かつ有意義な性質に変換される。
勾配平衡フレームワークは,ブラックボックス予測の偏りを緩和する手法の開発に利用できることを示す。
論文 参考訳（メタデータ） (2025-01-14T18:59:09Z) - Directional Smoothness and Gradient Methods: Convergence and Adaptivity [16.779513676120096]
我々は、最適化の経路に沿った目的の条件付けに依存する勾配降下に対する新しい準最適境界を開発する。
我々の証明の鍵となるのは方向の滑らかさであり、これは、目的の上のバウンドを開発するために使用する勾配変動の尺度である。
我々は,方向の滑らかさの知識を使わずとも,ポリアクのステップサイズと正規化GDが高速で経路依存の速度を得ることを示した。
論文 参考訳（メタデータ） (2024-03-06T22:24:05Z) - Why is parameter averaging beneficial in SGD? An objective smoothing perspective [13.863368438870562]
勾配降下(SGD)とその暗黙バイアスは、しばしばミニマの鋭さによって特徴づけられる。
Izmailov et alで実証的に観察された一般用平均SGDアルゴリズムについて検討した。
本研究では,SGDの平均値が局所的な局所最小値を回避するスムーズな目的を効率的に最適化できることを証明した。
論文 参考訳（メタデータ） (2023-02-18T16:29:06Z) - The Equalization Losses: Gradient-Driven Training for Long-tailed Object
Recognition [84.51875325962061]
本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。
我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。
我々の手法は一貫してベースラインモデルより優れています。
論文 参考訳（メタデータ） (2022-10-11T16:00:36Z) - Decreasing scaling transition from adaptive gradient descent to
stochastic gradient descent [1.7874193862154875]
本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。
実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
論文 参考訳（メタデータ） (2021-06-12T11:28:58Z) - A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。
我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文 参考訳（メタデータ） (2020-07-09T03:23:10Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳（メタデータ） (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。