論文の概要: A Theoretical and Experimental Study of a Novel Adaptive Learning Algorithm

• arxiv url: http://arxiv.org/abs/2605.29273v1
• Date: Thu, 28 May 2026 02:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.600837
• Title: A Theoretical and Experimental Study of a Novel Adaptive Learning Algorithm
• Title（参考訳）: 適応学習アルゴリズムの理論的および実験的研究
• Authors: Sakshi Kumari, Shyam Kumar M, Sushmitha P,
• Abstract要約: 機械学習アルゴリズムの重要なコンポーネントは、計算コストの低減と振動の低減による損失関数の最小化である。 本稿では,Adam や AMSGrad などの適応最適化手法を基本設計概念に重点を置いてレビューする。 上記の手法の限界に対処するため,新しい変種であるC-Adamを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial component of machine learning algorithms is minimizing loss functions with less computational cost and less oscillations. While adaptive learning rate-based optimizers have been widely used for real-world tasks, they do not guarantee convergence, which is why AMSGrad was later introduced to investigate the non-convergence behaviour of Adam. In this paper, popular adaptive optimization methods like Adam and AMSGrad are critically reviewed with an emphasis on their fundamental design concepts. To address limitations of the above mentioned optimizers, a new optimizer variant, C-Adam, is proposed based on the line of sight approach. A theoretical proof for convergence is also provided and the optimizer is validated through a number of real-life based numerical experiments.
• Abstract（参考訳）: 機械学習アルゴリズムの重要なコンポーネントは、計算コストの低減と振動の低減による損失関数の最小化である。 適応学習率に基づくオプティマイザは現実世界のタスクに広く使われているが、収束を保証していないため、Adamの非収束動作を調べるためにAMSGradが導入された。 本稿では,Adam や AMSGrad などの適応最適化手法を基本設計概念に重点を置いて批判的にレビューする。 上記のオプティマイザの限界に対処するため、新しいオプティマイザ変種であるC-Adamが視線アプローチに基づいて提案されている。 収束の理論的証明も提供され、オプティマイザは実生活に基づく数値実験を通じて検証される。

関連論文リスト

• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• CMA-ES with Radial Basis Function Surrogate for Black-Box Optimization [1.581191445609191]
  我々は,CMA-SAOと呼ばれるCMA-ESフレームワークにおけるサロゲートモデルの導入を提案し,初期サロゲートモデルを開発する。 実証検証の結果、CMA-SAOアルゴリズムは、一般的なアルゴリズムと比較して関数評価の数を著しく減らしていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-22T02:10:04Z)
• Learning rate adaptive stochastic gradient descent optimization methods: numerical simulations for deep learning methods for partial differential equations and convergence analyses [5.052293146674794]
  標準降下(SGD)最適化法は、学習率が0に収束しない場合、アダムのような加速および適応SGD最適化法が収束しないことが知られている。 本研究では,経験的推定に基づいて学習率を調整するSGD最適化手法の学習速度適応手法を提案し,検討する。
  論文  参考訳（メタデータ） (2024-06-20T14:07:39Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• On the One-sided Convergence of Adam-type Algorithms in Non-convex Non-concave Min-max Optimization [43.504548777955854]
  本稿では,一方のMVI条件下での分極最適化問題において,アダム型アルゴリズムが一方の1次定常点に収束することを示す。 また,この片側MVI条件が標準GANに対して満たされていることを実証的に検証した。
  論文  参考訳（メタデータ） (2021-09-29T06:38:39Z)
• Adaptive Sampling for Minimax Fair Classification [40.936345085421955]
  最適化の原理に基づく適応型サンプリングアルゴリズムを提案し,その性能に関する理論的境界を導出する。 特定の問題のクラスに対してアルゴリズム独立なローバウンドを導出することにより,適応スキームによる性能は一般に改善できないことを示した。
  論文  参考訳（メタデータ） (2021-03-01T04:58:27Z)
• Particle Swarm Optimization: Fundamental Study and its Application to Optimization and to Jetty Scheduling Problems [0.0]
  従来の手法に関する進化的アルゴリズムの利点は、文献で大いに議論されている。 粒子群はそのような利点を共有しているが、計算コストの低減と実装の容易さが要求されるため、進化的アルゴリズムよりも優れている。 本論文は, それらのチューニングについて検討するものではなく, 従来の研究から汎用的な設定を抽出し, 様々な問題を最適化するために, 事実上同じアルゴリズムを用いている。
  論文  参考訳（メタデータ） (2021-01-25T02:06:30Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。