論文の概要: Explore the Loss space with Hill-ADAM

• arxiv url: http://arxiv.org/abs/2510.03613v1
• Date: Sat, 04 Oct 2025 01:57:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.153474
• Title: Explore the Loss space with Hill-ADAM
• Title（参考訳）: Hill-ADAMによるロススペースの探索
• Authors: Meenakshi Manikandan, Leilani Gilpin,
• Abstract要約: ヒル-ADAMは州空間を探索することでミニマを逃れる。 5つの損失関数と12個のアンバー飽和画像色補正インスタンスで試験した。
• 参考スコア（独自算出の注目度）: 2.521594957889942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Hill-ADAM. Hill-ADAM is an optimizer with its focus towards escaping local minima in prescribed loss landscapes to find the global minimum. Hill-ADAM escapes minima by deterministically exploring the state space. This eliminates uncertainty from random gradient updates in stochastic algorithms while seldom converging at the first minimum that visits. In the paper we first derive an analytical approximation of the ADAM Optimizer step size at a particular model state. From there define the primary condition determining ADAM limitations in escaping local minima. The proposed optimizer algorithm Hill-ADAM alternates between error minimization and maximization. It maximizes to escape the local minimum and minimizes again afterward. This alternation provides an overall exploration throughout the loss space. This allows the deduction of the global minimum's state. Hill-ADAM was tested with 5 loss functions and 12 amber-saturated to cooler-shade image color correction instances.
• Abstract（参考訳）: 本稿ではHill-ADAMを紹介する。 Hill-ADAMは、グローバルな最小限を見つけるために、所定のロスランドスケープでローカルミニマをエスケープすることに焦点を当てたオプティマイザである。 Hill-ADAMは、状態空間を決定論的に探索することでミニマを逃れる。 これにより、確率的アルゴリズムのランダムな勾配更新から不確実性を排除し、訪問する最初の最小限で収束することは滅多にない。 本稿では,ADAMオプティマイザのステップサイズを特定のモデル状態で解析的に近似する手法を提案する。 そこから、局所ミニマを脱出する際のADAM制限を決定する一次条件を定義する。 提案アルゴリズムは誤り最小化と最大化を交互に行う。 局所的な最小限から脱出し、その後再び最小化する。 この交替は、損失空間全体にわたる総合的な探索を提供する。 これにより、世界最小状態の導出が可能になる。 Hill-ADAMは5つの損失関数と12個のアンバー飽和画像色補正インスタンスで試験された。

関連論文リスト

• A first-order method for nonconvex-nonconcave minimax problems under a local Kurdyka-Łojasiewicz condition [1.534667887016089]
  局所的なクルディカ・ロジャシエヴィチ(KL)条件の内的問題と外的最小化変数が相違する非コンケーブ最小化問題のクラスについて検討する。 特に、アルゴリズムが問題の定常点に向かって進むと、KL条件が成立する領域は縮小し、より不規則な風景が生じる。
  論文  参考訳（メタデータ） (2025-07-02T17:45:10Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Fast and Accurate Estimation of Low-Rank Matrices from Noisy Measurements via Preconditioned Non-Convex Gradient Descent [11.74020933567308]
  非勾配降下は、雑音測定から低ランクn基底真理行列を推定する一般的な方法である。 本稿では,局所収束を最小限の最適度に加速させるため,雑音測定のためのプレコンディショニングをいかに行うべきかを述べる。
  論文  参考訳（メタデータ） (2023-05-26T19:32:07Z)
• How to escape sharp minima with random perturbations [48.095392390925745]
  平らなミニマの概念とそれらを見つける複雑さについて研究する。 一般的なコスト関数に対して、近似平坦な局所最小値を求める勾配に基づくアルゴリズムについて論じる。 コスト関数がトレーニングデータよりも経験的リスクであるような環境では、シャープネス認識最小化と呼ばれる最近提案された実用的なアルゴリズムにインスパイアされたより高速なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-25T02:12:33Z)
• Gradient Norm Aware Minimization Seeks First-Order Flatness and Improves Generalization [33.50116027503244]
  ゼロ階平坦性は低勾配誤差で最小値の判別に不十分であることを示す。 また,全方向にわたって一様に曲率の小さい最小値を求めるため,GAM(Gradient norm Aware Minimization)と呼ばれる新しいトレーニング手順を提案する。
  論文  参考訳（メタデータ） (2023-03-03T16:58:53Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)
• Informative Planning for Worst-Case Error Minimisation in Sparse Gaussian Process Regression [28.50144453974764]
  我々は,境界雑音を伴うスパースGPレグレッションに対して,普遍的な最悪の誤差を導出する。 後続エントロピー最小化問題を解くことにより,最悪のエラー最小化を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-03-08T03:26:08Z)
• Combining resampling and reweighting for faithful stochastic optimization [1.52292571922932]
  損失関数が複数の項の和であるとき、一般的な方法は勾配降下である。 損失関数における複数の項のリプシッツ定数の差は、異なる最小値における異なる分散への勾配降下を引き起こすことを示す。
  論文  参考訳（メタデータ） (2021-05-31T04:21:25Z)
• Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
  本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。 本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
  論文  参考訳（メタデータ） (2020-06-16T17:55:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。