論文の概要: Comparative Analysis of Novel NIRMAL Optimizer Against Adam and SGD with Momentum

• arxiv url: http://arxiv.org/abs/2508.04293v1
• Date: Wed, 06 Aug 2025 10:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 20:09:22.678736
• Title: Comparative Analysis of Novel NIRMAL Optimizer Against Adam and SGD with Momentum
• Title（参考訳）: モメンタムによるアダムとSGDに対する新しいNIRMALオプティマイザの比較解析
• Authors: Nirmal Gaud, Surej Mouli, Preeti Katiyar, Vaduguru Venkata Ramya,
• Abstract要約: NIRMAL(Novel Integrated Robust Multi-Adaptation Learning)は、チェスの駒の動きにインスパイアされた複数の戦略を組み合わせた新しい最適化アルゴリズムである。 NIRMALは、特により困難なCIFAR-100データセットで、競争性能を達成する。 これらの知見は、様々なディープラーニングタスクのための汎用的で効果的なデータセットとして、NIRMALの有意義な能力を裏付けるものである。
• 参考スコア（独自算出の注目度）: 0.8437187555622164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study proposes NIRMAL (Novel Integrated Robust Multi-Adaptation Learning), a novel optimization algorithm that combines multiple strategies inspired by the movements of the chess piece. These strategies include gradient descent, momentum, stochastic perturbations, adaptive learning rates, and non-linear transformations. We carefully evaluated NIRMAL against two widely used and successful optimizers, Adam and SGD with Momentum, on four benchmark image classification datasets: MNIST, FashionMNIST, CIFAR-10, and CIFAR-100. The custom convolutional neural network (CNN) architecture is applied on each dataset. The experimental results show that NIRMAL achieves competitive performance, particularly on the more challenging CIFAR-100 dataset, where it achieved a test accuracy of 45.32\%and a weighted F1-score of 0.4328. This performance surpasses Adam (41.79\% accuracy, 0.3964 F1-score) and closely matches SGD with Momentum (46.97\% accuracy, 0.4531 F1-score). Also, NIRMAL exhibits robust convergence and strong generalization capabilities, especially on complex datasets, as evidenced by stable training results in loss and accuracy curves. These findings underscore NIRMAL's significant ability as a versatile and effective optimizer for various deep learning tasks.
• Abstract（参考訳）: 本研究は,チェス駒の動きにインスパイアされた複数の戦略を組み合わせた,新しい最適化アルゴリズムであるNIRMALを提案する。 これらの戦略には、勾配降下、運動量、確率摂動、適応学習率、非線形変換が含まれる。 我々は、MNIST、FashionMNIST、CIFAR-10、CIFAR-100の4つのベンチマーク画像分類データセットを用いて、NIRMALを広く使われている2つの最適化アルゴリズムであるAdamとSGDに対して慎重に評価した。 各データセットにカスタム畳み込みニューラルネットワーク(CNN)アーキテクチャを適用する。 実験の結果、NIRMALは競争性能、特により困難なCIFAR-100データセットにおいて45.32\%の試験精度と重み付きF1スコア0.4328の試験精度を達成した。 この性能はAdam (41.79\%、0.3964 F1-score) を超え、SGDとMomentum (46.97\%、0.4531 F1-score) と密に一致している。 また、NIRMALは、特に複雑なデータセットにおいて、安定したトレーニング結果によって損失と精度曲線が証明されるように、堅牢な収束と強力な一般化能力を示す。 これらの知見は,様々なディープラーニングタスクにおいて,汎用的で効果的な最適化ツールとして,NIRMALの有意義な能力を裏付けるものである。

関連論文リスト

• ZetA: A Riemann Zeta-Scaled Extension of Adam for Deep Learning [0.0]
  ZetAは、ゼータ関数に基づいた動的スケーリングを組み込むことでAdamを拡張する新しいディープラーニングシステムである。 我々は,ZetAがAdamの雑音や高粒度分類タスクにおいて,計算効率が高く,頑健な代替手段であることを示す。
  論文  参考訳（メタデータ） (2025-08-01T02:53:29Z)
• Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
  大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。 SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
  論文  参考訳（メタデータ） (2025-06-01T15:30:37Z)
• Decorrelating Structure via Adapters Makes Ensemble Learning Practical for Semi-supervised Learning [50.868594148443215]
  コンピュータビジョンでは、従来のアンサンブル学習法は訓練効率が低いか、限られた性能を示す。 本稿では,視覚的タスクに適応器を用いたDecorrelating Structure(DSA)による軽量,損失関数なし,アーキテクチャに依存しないアンサンブル学習を提案する。
  論文  参考訳（メタデータ） (2024-08-08T01:31:38Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and Stability [67.8426046908398]
  汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。 本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
  論文  参考訳（メタデータ） (2022-04-08T20:46:16Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Precision-Weighted Federated Learning [1.8160945635344528]
  フェデレート学習環境で訓練されたモデルのパラメータの重み付け平均を計算する際に,勾配のばらつきを考慮した新しいアルゴリズムを提案する。 本手法は,2つの異なるデータ分割戦略 (IID/non-IID) を持つ標準画像分類データセットを用いて,資源制約環境下での手法の性能と速度を測定した。
  論文  参考訳（メタデータ） (2021-07-20T17:17:10Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。