論文の概要: Effectiveness of Optimization Algorithms in Deep Image Classification

• arxiv url: http://arxiv.org/abs/2110.01598v1
• Date: Mon, 4 Oct 2021 17:50:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 16:49:58.612494
• Title: Effectiveness of Optimization Algorithms in Deep Image Classification
• Title（参考訳）: 深部画像分類における最適化アルゴリズムの有効性
• Authors: Zhaoyang Zhu, Haozhe Sun, Chi Zhang
• Abstract要約: 新しい2つのダム、AdaBeliefとPadamがコミュニティに導入されている。 我々はこれらの2つのダムを解析し、画像分類のシナリオにおいて他の手法(Adam, SGD + Momentum)と比較する。 我々は,これらの最適化アルゴリズムの性能をAlexNet上で評価し,EMNISTデータセットを用いてVGGNet,ResNetの簡易バージョンを評価する。
• 参考スコア（独自算出の注目度）: 6.368679897630892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adam is applied widely to train neural networks. Different kinds of Adam methods with different features pop out. Recently two new adam optimizers, AdaBelief and Padam are introduced among the community. We analyze these two adam optimizers and compare them with other conventional optimizers (Adam, SGD + Momentum) in the scenario of image classification. We evaluate the performance of these optimization algorithms on AlexNet and simplified versions of VGGNet, ResNet using the EMNIST dataset. (Benchmark algorithm is available at \hyperref[https://github.com/chuiyunjun/projectCSC413]{https://github.com/chuiyunjun/projectCSC413}).
• Abstract（参考訳）: adamはニューラルネットワークのトレーニングに広く使われている。 異なる機能を持つ異なる種類のadamメソッドが登場します。 近年、AdaBeliefとPadamという2つの新しいダムオプティマイザがコミュニティに導入されている。 これら2つのadamオプティマイザを分析し,画像分類のシナリオにおいて,他の従来のオプティマイザ(adam,sgd + momentum)と比較する。 我々は,これらの最適化アルゴリズムの性能をAlexNet上で評価し,EMNISTデータセットを用いてVGGNet,ResNetの簡易バージョンを評価する。 (benchmarkアルゴリズムは \hyperref[https://github.com/chuiyunjun/projectcsc413]{https://github.com/chuiyunjun/projectcsc413})。

関連論文リスト

• Deconstructing What Makes a Good Optimizer for Language Models [7.9224468703944115]
  SGD,Adafactor,Adam,Lionなどの最適化アルゴリズムを自己回帰言語モデリングの文脈で比較する。 以上の結果から,SGDを除いて,これらのアルゴリズムは最適性能の両立が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-10T18:11:40Z)
• Neural Optimizer Equation, Decay Function, and Learning Rate Schedule Joint Evolution [0.0]
  ディープラーニングモデルの品質に大きく貢献しているのが、Convの選択だ。 深層学習のプロセスを自動化するために,ニューラルサーチ(NOS)における新たな二重結合探索空間と整合性チェックを提案する。 画像分類タスク全体にわたって、Adamや他の標準的なディープラーニングよりも優れた、複数、学習率のスケジュール、そしてAdamの変種を見つけました。
  論文  参考訳（メタデータ） (2024-04-10T02:00:24Z)
• Improving the Adaptive Moment Estimation (ADAM) stochastic optimizer through an Implicit-Explicit (IMEX) time-stepping approach [1.2233362977312945]
  古典的アダムアルゴリズムは、基礎となるODEの1次暗黙的明示的(IMEX)離散化である。 我々は、高階IMEX法を用いてODEを解くAdamスキームの新たな拡張を提案する。 いくつかの回帰問題と分類問題において,従来のAdamよりも優れた性能を示すニューラルネットワークトレーニングのための新しい最適化アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-03-20T16:08:27Z)
• Ensemble Quadratic Assignment Network for Graph Matching [52.20001802006391]
  グラフマッチングはコンピュータビジョンやパターン認識において一般的に用いられる技法である。 最近のデータ駆動型アプローチは、グラフマッチングの精度を著しく改善した。 データ駆動手法と従来の手法の利点を組み合わせたグラフニューラルネットワーク(GNN)に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-11T06:34:05Z)
• MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [73.1383658672682]
  メタ適応(MADA)は、複数の既知の収束を一般化し、トレーニング中に最も適した収束を動的に学習できる統合フレームワークである。 私たちは、MADAを視覚や言語タスクに関する他の人気と経験的に比較し、MADAがAdamや他の人気を一貫して上回っていることに気付きました。 AVGradは最大演算子を平均演算子に置き換えたもので、高次最適化に適している。
  論文  参考訳（メタデータ） (2024-01-17T00:16:46Z)
• Bidirectional Looking with A Novel Double Exponential Moving Average to Adaptive and Non-adaptive Momentum Optimizers [109.52244418498974]
  我々は,新しいtextscAdmeta(textbfADouble指数textbfMov averagtextbfE textbfAdaptiveおよび非適応運動量)フレームワークを提案する。 我々は、textscAdmetaR と textscAdmetaS の2つの実装を提供し、前者は RAdam を、後者は SGDM をベースとしています。
  論文  参考訳（メタデータ） (2023-07-02T18:16:06Z)
• Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
  我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。 凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
  論文  参考訳（メタデータ） (2021-08-25T17:58:21Z)
• Human Body Model Fitting by Learned Gradient Descent [48.79414884222403]
  画像に3次元の人体形状を適合させる新しいアルゴリズムを提案する。 このアルゴリズムは高速(約120ms収束)で、データセットに頑健であり、公開評価データセットの最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-19T14:26:47Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)
• TAdam: A Robust Stochastic Gradient Optimizer [6.973803123972298]
  機械学習アルゴリズムは、特にロボット分野において、いくつかのノイズを含むかもしれない観察からパターンを見つけることを目的としている。 このようなノイズにうまく対処するためには、外乱を検知し、必要に応じて破棄できると期待している。 そこで本研究では,アルゴリズムに頑健性を直接組み込んだ勾配最適化手法を提案し,その中核となる概念として頑健な学生分布を用いた。
  論文  参考訳（メタデータ） (2020-02-29T04:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。