論文の概要: ANO : Faster is Better in Noisy Landscape

• arxiv url: http://arxiv.org/abs/2508.18258v2
• Date: Mon, 10 Nov 2025 15:31:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 14:56:00.072773
• Title: ANO : Faster is Better in Noisy Landscape
• Title（参考訳）: ANO : 騒音の多い景観の高速化
• Authors: Adrien Kegreisz,
• Abstract要約: ノイズの多い環境で瞬間運動量を切り離す小説「Ano」を紹介します。 アノログは、勾配強化学習のようなノイズの多い非定常的な体制においてかなりの利益をもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic optimizers are central to deep learning, yet widely used methods such as Adam and Adan can degrade in non-stationary or noisy environments, partly due to their reliance on momentum-based magnitude estimates. We introduce Ano, a novel optimizer that decouples direction and magnitude: momentum is used for directional smoothing, while instantaneous gradient magnitudes determine step size. This design improves robustness to gradient noise while retaining the simplicity and efficiency of first-order methods. We further propose Anolog, which removes sensitivity to the momentum coefficient by expanding its window over time via a logarithmic schedule. We establish non-convex convergence guarantees with a convergence rate similar to other sign-based methods, and empirically show that Ano provides substantial gains in noisy and non-stationary regimes such as reinforcement learning, while remaining competitive on low-noise tasks.
• Abstract（参考訳）: 確率的オプティマイザは深層学習の中心であるが、アダムやアダンのような広く使われている手法は、運動量に基づく等級推定に依存するため、非定常的あるいはノイズの多い環境で分解することができる。 我々は、方向と大きさを分離する新しいオプティマイザであるAnoを紹介し、モーメントは方向の平滑化に使用され、一方、瞬時勾配のマグニチュードはステップサイズを決定する。 この設計は、一階法の単純さと効率を保ちながら、勾配雑音に対する堅牢性を向上させる。 さらに,時間とともにウィンドウを拡大することで運動量係数に対する感度を除去するAnologを提案する。 我々は,他の手話法と類似した収束率で非凸収束保証を確立するとともに,Anoが低雑音タスクにおいて競争力を維持しながら,強化学習のような雑音や非定常的体制において大きな利益をもたらすことを実証的に示す。

関連論文リスト

• Unifying Sign and Magnitude for Optimizing Deep Vision Networks via ThermoLion [0.0]
  現在のパラダイムは、情報チャネルドリフトパラメータに静的な妥協を課している。 我々は「低次元」探索モデルと「低次元」動的アライメントフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-12-01T17:04:17Z)
• Adaptive Heavy-Tailed Stochastic Gradient Descent [0.0]
  AHTSGDは、安定性のエッジに基づく一般化に注入されたノイズの性質を調整した最初のアルゴリズムである。 AHTSGDは、MNISTやCIFAR-10のようなベンチマークでSGDと他のノイズベースの手法を一貫して上回り、SVHNのようなノイズの多いデータセットでは顕著に上昇している。
  論文  参考訳（メタデータ） (2025-08-29T06:32:26Z)
• Optimizing Asynchronous Federated Learning: A~Delicate Trade-Off Between Model-Parameter Staleness and Update Frequency [0.9999629695552195]
  我々は、非同期FLアルゴリズムにおける設計選択の影響をよりよく理解するために、モデリングと分析を用いる。 非同期FLを最適化するための基本的なトレードオフを特徴付ける。 これらの最適化は精度を10%から30%向上させる。
  論文  参考訳（メタデータ） (2025-02-12T08:38:13Z)
• Robust Representation Consistency Model via Contrastive Denoising [83.47584074390842]
  ランダムな平滑化は、敵の摂動に対する堅牢性を証明する理論的保証を提供する。 拡散モデルは、ノイズ摂動サンプルを浄化するためにランダムな平滑化に成功している。 我々は,画素空間における拡散軌跡に沿った生成的モデリングタスクを,潜在空間における識別的タスクとして再構成する。
  論文  参考訳（メタデータ） (2025-01-22T18:52:06Z)
• Improved Noise Schedule for Diffusion Training [51.849746576387375]
  本稿では,拡散モデルのトレーニングを強化するため,ノイズスケジュールを設計するための新しい手法を提案する。 我々は,標準のコサインスケジュールよりもノイズスケジュールの方が優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2024-07-03T17:34:55Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Byzantine-Robust Decentralized Stochastic Optimization with Stochastic Gradient Noise-Independent Learning Error [25.15075119957447]
  分散ネットワーク上でのビザンチン-ロバスト最適化について検討し、各エージェントが近隣のエージェントと定期的に通信して局所モデルを交換し、勾配降下(SGD)により独自の局所モデルを更新する。 このような手法の性能は、最適化プロセス中に逆向きに実行される未知数のビザンチンエージェントに影響される。
  論文  参考訳（メタデータ） (2023-08-10T02:14:23Z)
• The Marginal Value of Momentum for Small Learning Rate SGD [20.606430391298815]
  モーメントは、勾配雑音のない強い凸条件下での勾配降下の収束を加速することが知られている。 実験により、最適学習率があまり大きくない実践訓練において、運動量には最適化と一般化の両方の利点があることがわかった。
  論文  参考訳（メタデータ） (2023-07-27T21:01:26Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Tradeoffs between convergence rate and noise amplification for momentum-based accelerated optimization algorithms [8.669461942767098]
  モーメントに基づく1次最適化アルゴリズムについて検討し, 繰り返しが付加的な白色雑音を受ける場合について検討した。 強い凸2次問題に対しては、雑音増幅の定量化のために最適化変数における誤差の定常分散を用いる。 雑音増幅と定位時間のバランスをとるアルゴリズムの2つのパラメータ化ファミリを導入する。
  論文  参考訳（メタデータ） (2022-09-24T04:26:30Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。