論文の概要: LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments

• arxiv url: http://arxiv.org/abs/2507.11262v1
• Date: Tue, 15 Jul 2025 12:35:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 19:46:03.108493
• Title: LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments
• Title（参考訳）: LyAm: 雑音環境下での安定学習のためのロバストな非凸最適化
• Authors: Elmira Mirzabeigi, Sepehr Rezaee, Kourosh Parand,
• Abstract要約: ディープニューラルネットワークのトレーニング、特にコンピュータビジョンタスクは、ノイズの多い勾配に悩まされることが多い。 我々はAdamの適応モーメント推定とLyapunovに基づく安定性機構を統合する小説LyAmを提案する。 LyAmは、精度、収束性、速度、安定性の点で、最先端設定を一貫して上回る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep neural networks, particularly in computer vision tasks, often suffers from noisy gradients and unstable convergence, which hinder performance and generalization. In this paper, we propose LyAm, a novel optimizer that integrates Adam's adaptive moment estimation with Lyapunov-based stability mechanisms. LyAm dynamically adjusts the learning rate using Lyapunov stability theory to enhance convergence robustness and mitigate training noise. We provide a rigorous theoretical framework proving the convergence guarantees of LyAm in complex, non-convex settings. Extensive experiments on like as CIFAR-10 and CIFAR-100 show that LyAm consistently outperforms state-of-the-art optimizers in terms of accuracy, convergence speed, and stability, establishing it as a strong candidate for robust deep learning optimization.
• Abstract（参考訳）: ディープニューラルネットワーク、特にコンピュータビジョンタスクのトレーニングは、しばしばノイズのある勾配と不安定な収束に悩まされ、パフォーマンスと一般化を妨げている。 本稿では,Adamの適応モーメント推定とLyapunovに基づく安定性機構を統合した新しい最適化器LyAmを提案する。 LyAmは、リアプノフ安定性理論を用いて学習率を動的に調整し、収束堅牢性を高め、トレーニングノイズを軽減する。 複雑で非凸な環境でのLyAmの収束保証を証明する厳密な理論的枠組みを提供する。 CIFAR-10 や CIFAR-100 のような大規模な実験により、LyAm は精度、収束速度、安定性において常に最先端の最適化よりも優れており、堅牢なディープラーニング最適化の候補として確立されている。

関連論文リスト

• Noradrenergic-inspired gain modulation attenuates the stability gap in joint training [44.99833362998488]
  連続学習の研究は、安定性ギャップとして知られる新しいタスクを同化する際に、マスターされたタスクのパフォーマンスが過度に低下することを発見した。 タスク境界における迅速な適応と堅牢な保持のバランスの不均衡を反映していると我々は主張する。 結節性好中球を介するノルアドレナリン系バーストに着想を得て,不確実性変調ゲインダイナミクスを提案する。
  論文  参考訳（メタデータ） (2025-07-18T16:34:06Z)
• Conformal Symplectic Optimization for Stable Reinforcement Learning [21.491621524500736]
  相対論的運動エネルギーを利用することで、RADは特殊相対性理論と制限パラメータの更新を有限速以下に取り入れ、異常な影響を効果的に緩和する。 特にRADは155.1%のパフォーマンス向上を実現しており、アタリゲームのトレーニングにおける有効性を示している。
  論文  参考訳（メタデータ） (2024-12-03T09:07:31Z)
• Adaptive Pruning with Module Robustness Sensitivity: Balancing Compression and Robustness [7.742297876120561]
  本稿では, 対向摂動に対する層次感度を定量化する新しい計量法であるModule Robustness Sensitivity (MRS)を紹介する。 本稿では,任意の対向学習法に適合する適応型プルーニングアルゴリズムであるModule Robust Pruning and Fine-Tuning (MRPF)を提案する。
  論文  参考訳（メタデータ） (2024-10-19T18:35:52Z)
• Super Level Sets and Exponential Decay: A Synergistic Approach to Stable Neural Network Training [0.0]
  指数減衰と高度な反オーバーフィッティング戦略を統合する動的学習率アルゴリズムを開発した。 適応学習率の影響を受けて、損失関数の超レベル集合が常に連結であることを証明する。
  論文  参考訳（メタデータ） (2024-09-25T09:27:17Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• AdaSAM: Boosting Sharpness-Aware Minimization with Adaptive Learning Rate and Momentum for Training Deep Neural Networks [76.90477930208982]
  シャープネス認識(SAM)は、ディープニューラルネットワークのトレーニングにおいて、より一般的なものにするため、広範囲に研究されている。 AdaSAMと呼ばれる適応的な学習摂動と運動量加速度をSAMに統合することはすでに検討されている。 いくつかのNLPタスクにおいて,SGD,AMS,SAMsGradと比較して,AdaSAMが優れた性能を発揮することを示す実験を行った。
  論文  参考訳（メタデータ） (2023-03-01T15:12:42Z)
• A Policy Optimization Method Towards Optimal-time Stability [15.722871779526526]
  サンプリングに基づくリアプノフ安定性を取り入れた政策最適化手法を提案する。 我々のアプローチは、最適時間内にシステムの状態が平衡点に達することを可能にする。
  論文  参考訳（メタデータ） (2023-01-02T04:19:56Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• LyaNet: A Lyapunov Framework for Training Neural ODEs [59.73633363494646]
  制御理論的リアプノフ条件を用いて常微分方程式を訓練する手法を提案する。 我々のアプローチはLyaNetと呼ばれ、推論ダイナミクスを正しい予測に迅速に収束させる新しいLyapunov損失定式化に基づいている。
  論文  参考訳（メタデータ） (2022-02-05T10:13:14Z)
• Probabilistic robust linear quadratic regulators with Gaussian processes [73.0364959221845]
  ガウス過程(GP)のような確率モデルは、制御設計に続く使用のためのデータから未知の動的システムを学ぶための強力なツールです。 本稿では、確率的安定性マージンに関して堅牢なコントローラを生成する線形化GPダイナミクスのための新しいコントローラ合成について述べる。
  論文  参考訳（メタデータ） (2021-05-17T08:36:18Z)
• Bridging the Gap Between Adversarial Robustness and Optimization Bias [28.56135898767349]
  アドリアールの堅牢性はディープラーニングのオープンな課題であり、ほとんどの場合、敵対的なトレーニングを使用して対処されます。 トレードオフなしに、完全標準精度とある程度の堅牢性を両立させることが可能であることを示す。 特に、線形畳み込みモデルのロバスト性を特徴付け、フーリエ=$ell_infty$ノルムの制約を受ける攻撃に抵抗することを示す。
  論文  参考訳（メタデータ） (2021-02-17T16:58:04Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。