論文の概要: Ranger21: a synergistic deep learning optimizer

• arxiv url: http://arxiv.org/abs/2106.13731v1
• Date: Fri, 25 Jun 2021 16:07:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-28 13:02:18.335835
• Title: Ranger21: a synergistic deep learning optimizer
• Title（参考訳）: Ranger21: シナジスティックなディープラーニングオプティマイザ
• Authors: Less Wright and Nestor Demeure
• Abstract要約: 本稿では,AdamWと8つのコンポーネントを組み合わせたRange21を紹介する。 その結果、検証精度とトレーニング速度、スムーズなトレーニング曲線が大幅に向上し、バッチ正規化レイヤなしでImageNet2012上でResNet50をトレーニングできることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As optimizers are critical to the performances of neural networks, every year a large number of papers innovating on the subject are published. However, while most of these publications provide incremental improvements to existing algorithms, they tend to be presented as new optimizers rather than composable algorithms. Thus, many worthwhile improvements are rarely seen out of their initial publication. Taking advantage of this untapped potential, we introduce Ranger21, a new optimizer which combines AdamW with eight components, carefully selected after reviewing and testing ideas from the literature. We found that the resulting optimizer provides significantly improved validation accuracy and training speed, smoother training curves, and is even able to train a ResNet50 on ImageNet2012 without Batch Normalization layers. A problem on which AdamW stays systematically stuck in a bad initial state.
• Abstract（参考訳）: ニューラルネットワークの性能に最適化器が不可欠であるため、毎年多くの論文が発表されている。 しかし、これらの出版物の多くは既存のアルゴリズムを漸進的に改善しているが、それらは構成可能なアルゴリズムではなく、新しい最適化として提示される傾向がある。 このように、初期の出版物から多くの価値ある改善が見られることは滅多にない。 この未解決の可能性を生かして、adamwと8つのコンポーネントを組み合わせた新しいオプティマイザ ranger21 を紹介し、文献からアイデアをレビューおよびテストした後、慎重に選択する。 その結果、オプティマイザは検証精度とトレーニング速度を大幅に改善し、スムーズなトレーニング曲線を提供し、バッチ正規化レイヤなしでImageNet2012上でResNet50をトレーニングできることがわかった。 AdamWが体系的に悪い初期状態に留まっている問題。

関連論文リスト

• Simmering: Sufficient is better than optimal for training neural networks [0.0]
  これは、ニューラルネットワークをトレーニングして、十分十分な重みとバイアスを生成する物理ベースの方法です。 我々は、SimmeringがAdamが過剰に適合するニューラルネットワークを修正していることを示し、Simmeringが最初からデプロイされた場合、過適合を避けることを示す。 本稿では,ニューラルネットワーク学習のパラダイムとして最適化を問うとともに,情報幾何学的議論を活用し,十分な学習アルゴリズムのクラスの存在を示唆する。
  論文  参考訳（メタデータ） (2024-10-25T18:02:08Z)
• Resetting the Optimizer in Deep RL: An Empirical Study [10.907980864371213]
  深層強化学習における最適値関数の近似に着目する。 この単純な修正により,Atariベンチマークにおける深部RLの性能が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2023-06-30T17:53:50Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Alternately Optimized Graph Neural Networks [33.98939289745346]
  グラフ上の半教師付き学習のための新しい最適化フレームワークを提案する。 提案手法は交互最適化アルゴリズムにより便利に解けるので,効率は大幅に向上する。
  論文  参考訳（メタデータ） (2022-06-08T01:50:08Z)
• EvoPruneDeepTL: An Evolutionary Pruning Model for Transfer Learning based Deep Neural Networks [15.29595828816055]
  本稿では,トランスファーラーニングに基づくディープニューラルネットワークのための進化的プルーニングモデルを提案する。 EvoPruneDeepTLは、最後の完全に接続されたレイヤを遺伝的アルゴリズムによって最適化されたスパースレイヤで置き換える。 その結果,ネットワーク全体の計算効率に対するEvoPruneDeepTLと特徴選択の寄与が示された。
  論文  参考訳（メタデータ） (2022-02-08T13:07:55Z)
• DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
  形状最適化に適した不確実性に基づく新しい手法を提案する。 効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:01:42Z)
• How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
  我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。 我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
  論文  参考訳（メタデータ） (2021-06-21T17:59:51Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Transferable Graph Optimizers for ML Compilers [18.353830282858834]
  計算グラフ最適化(GO)のためのエンドツーエンドで転送可能な深層強化学習法を提案する。 GOは個々のノードに対して自動回帰ではなく,グラフ全体の決定を生成する。 GOは、人間の専門家よりも21%改善し、先行技術よりも18%改善し、15倍早く収束する。
  論文  参考訳（メタデータ） (2020-10-21T20:28:33Z)
• Tasks, stability, architecture, and compute: Training more effective learned optimizers, and using them to train themselves [53.37905268850274]
  我々は、自動正規化を実現するために、バリデーション損失などの追加機能にアクセス可能な、階層的で階層的なニューラルネットワークパラメータ化を導入した。 ほとんどの学習は単一のタスク、あるいは少数のタスクでトレーニングされています。 何千ものタスクをトレーニングし、桁違いに計算量を増やし、その結果、目に見えないタスクよりも優れたパフォーマンスの一般化を実現します。
  論文  参考訳（メタデータ） (2020-09-23T16:35:09Z)
• EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning [82.54669314604097]
  EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。 異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。 このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
  論文  参考訳（メタデータ） (2020-07-06T01:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。