論文の概要: An Adaptive Method Stabilizing Activations for Enhanced Generalization

• arxiv url: http://arxiv.org/abs/2506.08353v1
• Date: Tue, 10 Jun 2025 02:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.153287
• Title: An Adaptive Method Stabilizing Activations for Enhanced Generalization
• Title（参考訳）: 一般化のためのアクティベーションを安定化する適応的手法
• Authors: Hyunseok Seung, Jaewoo Lee, Hyunsuk Ko,
• Abstract要約: 本稿では,アクティベーションのばらつきに応じて学習率を調整する新しい最適化アルゴリズムであるAdaActを紹介する。 実験結果は、標準画像分類ベンチマークにおけるAdaActの競合性能を示している。
• 参考スコア（独自算出の注目度）: 7.512116180634991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce AdaAct, a novel optimization algorithm that adjusts learning rates according to activation variance. Our method enhances the stability of neuron outputs by incorporating neuron-wise adaptivity during the training process, which subsequently leads to better generalization -- a complementary approach to conventional activation regularization methods. Experimental results demonstrate AdaAct's competitive performance across standard image classification benchmarks. We evaluate AdaAct on CIFAR and ImageNet, comparing it with other state-of-the-art methods. Importantly, AdaAct effectively bridges the gap between the convergence speed of Adam and the strong generalization capabilities of SGD, all while maintaining competitive execution times. Code is available at https://github.com/hseung88/adaact.
• Abstract（参考訳）: 本稿では,アクティベーションのばらつきに応じて学習率を調整する新しい最適化アルゴリズムであるAdaActを紹介する。 本手法は、トレーニング過程中にニューロンの適応性を組み込むことでニューロン出力の安定性を高め、その後、従来の活性化正則化法と相補的なアプローチである、より良い一般化をもたらす。 実験結果は、標準画像分類ベンチマークにおけるAdaActの競合性能を示している。 CIFARとImageNetでAdaActを評価し,他の最先端手法と比較した。 重要なことに、AdaActはAdamの収束速度とSGDの強力な一般化能力のギャップを効果的に橋渡しし、競争力のある実行時間を維持する。 コードはhttps://github.com/hseung88/adaact.comから入手できる。

関連論文リスト

• Orthogonal SVD Covariance Conditioning and Latent Disentanglement [65.67315418971688]
  SVDメタ層をニューラルネットワークに挿入すると、共分散が不調和になる。 我々は最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-12-11T20:31:31Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• An Adaptive Gradient Method with Energy and Momentum [0.0]
  目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。 この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
  論文  参考訳（メタデータ） (2022-03-23T04:48:38Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
  第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。 本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
  論文  参考訳（メタデータ） (2021-04-12T13:13:34Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
  レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。 AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。 本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2020-10-21T14:49:00Z)
• Maximum Mutation Reinforcement Learning for Scalable Control [25.935468948833073]
  強化学習(Reinforcement Learning, RL)は、大規模状態空間に対するデータ効率と最適制御を、スケーラブルな性能で実証している。 本稿では,スケーラブルなRLアルゴリズムであるEvolution-based Soft Actor-Critic (ESAC)を提案する。
  論文  参考訳（メタデータ） (2020-07-24T16:29:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。