論文の概要: Foxtsage vs. Adam: Revolution or Evolution in Optimization?

• arxiv url: http://arxiv.org/abs/2412.17855v1
• Date: Fri, 20 Dec 2024 03:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:56:48.412555
• Title: Foxtsage vs. Adam: Revolution or Evolution in Optimization?
• Title（参考訳）: Foxtsage vs. Adam: 最適化における革命か進化か?
• Authors: Sirwan A. Aula, Tarik A. Rashid,
• Abstract要約: 本研究は、ハイブリッドFOX-TSAとグラディエントDescentを統合した新しいハイブリッド最適化手法であるFoxtsageを導入し、マルチ層パーセプトロンモデルのトレーニングを行う。 実験の結果、Foxtsageは損失平均の42.03%の減少(Foxtsage: 9.508, Adam: 16.402)、損失標準偏差の42.19%の改善(Foxtsage: 20.86, Adam: 36.085)を達成した。
• 参考スコア（独自算出の注目度）: 4.939986309170004
• License:
• Abstract: Optimization techniques are pivotal in neural network training, shaping both predictive performance and convergence efficiency. This study introduces Foxtsage, a novel hybrid optimisation approach that integrates the Hybrid FOX-TSA with Stochastic Gradient Descent for training Multi-Layer Perceptron models. The proposed Foxtsage method is benchmarked against the widely adopted Adam optimizer across multiple standard datasets, focusing on key performance metrics such as training loss, accuracy, precision, recall, F1-score, and computational time. Experimental results demonstrate that Foxtsage achieves a 42.03% reduction in loss mean (Foxtsage: 9.508, Adam: 16.402) and a 42.19% improvement in loss standard deviation (Foxtsage: 20.86, Adam: 36.085), reflecting enhanced consistency and robustness. Modest improvements in accuracy mean (0.78%), precision mean (0.91%), recall mean (1.02%), and F1-score mean (0.89%) further underscore its predictive performance. However, these gains are accompanied by an increased computational cost, with a 330.87% rise in time mean (Foxtsage: 39.541 seconds, Adam: 9.177 seconds). By effectively combining the global search capabilities of FOX-TSA with the stability and adaptability of SGD, Foxtsage presents itself as a robust and viable alternative for neural network optimization tasks.
• Abstract（参考訳）: 最適化技術はニューラルネットワークのトレーニングにおいて重要であり、予測性能と収束効率の両方を形作る。 本研究では,ハイブリッドFOX-TSAとStochastic Gradient Descentを統合し,マルチ層パーセプトロンモデルのトレーニングを行うハイブリッド最適化手法であるFoxtsageを紹介する。 提案手法は、トレーニング損失、精度、精度、リコール、F1スコア、計算時間などの主要なパフォーマンス指標に焦点を当て、複数の標準データセットで広く採用されているAdamオプティマイザに対してベンチマークされる。 実験の結果、Foxtsageは損失平均の42.03%の減少(Foxtsage: 9.508, Adam: 16.402)、損失標準偏差の42.19%の改善(Foxtsage: 20.86, Adam: 36.085)を達成した。 精度の適度な改善(0.78%)、精度の平均(0.91%)、リコール平均(1.02%)、F1スコア平均(0.89%)は予測性能をさらに低下させた。 しかし、これらのゲインには計算コストが増加し、330.87%の時間平均が上昇した(フォクスセージ:39.541秒、アダム:9.177秒)。 FOX-TSAのグローバル検索能力とSGDの安定性と適応性を効果的に組み合わせることで、Foxtsageはニューラルネットワーク最適化タスクの堅牢で実行可能な代替手段として自らを提示する。

関連論文リスト

• EXAdam: The Power of Adaptive Cross-Moments [0.0]
  本稿では,広く使用されているAdamAdamアルゴリズムに基づく新しい最適化アルゴリズムであるEXAdamを紹介する。 EXAdamには、(1)モーメント推定を改善するための新しいデバイアス項、(2)勾配に基づく加速度機構、(3)動的ステップサイズ公式の3つの重要な拡張が含まれている。 EXAdamはAdamよりも優れており、48.07%の高速化と4.6%、4.13%、そして2.39%の改善を実現している。
  論文  参考訳（メタデータ） (2024-12-29T00:11:54Z)
• FOXANN: A Method for Boosting Neural Network Performance [4.8699089441419146]
  本稿では,最近開発されたFox人工ニューラルネットワークとANNを組み合わせた新しい分類モデルFOXANNを提案する。 Foxは、ANNのバックプロパゲーションアルゴリズムを置き換え、シナプス重みを最適化し、最小損失で高い分類精度を達成し、モデルの一般化と解釈性を改善した。 FOXANNの性能一般化は、Iris Flower、Breaast Cancer Wisconsin、Wineの3つの標準データセットで評価されている。
  論文  参考訳（メタデータ） (2024-06-29T17:00:47Z)
• Iterative Reasoning Preference Optimization [84.15992372132507]
  生成したChain-of-Thought(CoT)候補間の嗜好を最適化するための反復的アプローチを開発する。 このスキームの繰り返し繰り返しにおける推論の改善を示す。 例えば、GSM8Kは55.6%から81.6%に大きく改善され、精度は88.7%となり、32のサンプルのうち多数が投票した。
  論文  参考訳（メタデータ） (2024-04-30T17:28:05Z)
• Adapprox: Adaptive Approximation in Adam Optimization via Randomized Low-Rank Matrices [24.319712013824876]
  Adapproxは、Adamの2番目の瞬間をより正確に近似するためにランダム化された低ランク行列近似を利用する新しいアプローチである。 GPT-2のトレーニングとダウンストリームタスクでは、アダポックスは34.5%から49.9%のメモリ節約を達成した。
  論文  参考訳（メタデータ） (2024-03-22T05:23:31Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
  TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。 Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
  論文  参考訳（メタデータ） (2021-09-07T20:19:40Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Modeling and Uncertainty Analysis of Groundwater Level Using Six Evolutionary Optimization Algorithms Hybridized with ANFIS, SVM, and ANN [0.0]
  6つのメタヒューリスティックスキームは、人工知能ニューラルネットワーク(ANN)、適応型神経ファジィインタフェースシステム(ANFIS)、サポートベクターマシン(SVM)とハイブリッド化されている。 最適化アルゴリズムを用いたハイブリッドモデルの性能は、従来のANN、ANFIS、SVMモデルよりはるかに優れていた。
  論文  参考訳（メタデータ） (2020-06-28T11:06:53Z)
• Smooth Adversarial Training [120.44430400607483]
  ネットワークは正確かつ堅牢であると一般に信じられている。 ここでは、敵対的訓練に関する慎重な研究により、これらの共通の信念に挑戦する証拠を提示する。 本研究では、ReLUをそのスムーズな近似で置き換えて、逆行訓練を強化するスムーズな逆行訓練(SAT)を提案する。
  論文  参考訳（メタデータ） (2020-06-25T16:34:39Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。