論文の概要: Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers

• arxiv url: http://arxiv.org/abs/2007.01547v6
• Date: Tue, 10 Aug 2021 23:17:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 04:35:54.192395
• Title: Descending through a Crowded Valley - Benchmarking Deep Learning Optimizers
• Title（参考訳）: 群衆の谷を抜ける - ディープラーニング最適化のベンチマーク
• Authors: Robin M. Schmidt, Frank Schneider, Philipp Hennig
• Abstract要約: 本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。 そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。 我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
• 参考スコア（独自算出の注目度）: 29.624308090226375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing the optimizer is considered to be among the most crucial design decisions in deep learning, and it is not an easy one. The growing literature now lists hundreds of optimization methods. In the absence of clear theoretical guidance and conclusive empirical evidence, the decision is often made based on anecdotes. In this work, we aim to replace these anecdotes, if not with a conclusive ranking, then at least with evidence-backed heuristics. To do so, we perform an extensive, standardized benchmark of fifteen particularly popular deep learning optimizers while giving a concise overview of the wide range of possible choices. Analyzing more than $50,000$ individual runs, we contribute the following three points: (i) Optimizer performance varies greatly across tasks. (ii) We observe that evaluating multiple optimizers with default parameters works approximately as well as tuning the hyperparameters of a single, fixed optimizer. (iii) While we cannot discern an optimization method clearly dominating across all tested tasks, we identify a significantly reduced subset of specific optimizers and parameter choices that generally lead to competitive results in our experiments: Adam remains a strong contender, with newer methods failing to significantly and consistently outperform it. Our open-sourced results are available as challenging and well-tuned baselines for more meaningful evaluations of novel optimization methods without requiring any further computational efforts.
• Abstract（参考訳）: 最適化の選択はディープラーニングにおいて最も重要な設計決定のひとつと考えられており、簡単ではない。 増加傾向にある文献は、現在数百の最適化方法をリストアップしている。 明確な理論的ガイダンスや決定的な実証的証拠がないため、この決定は逸話に基づいて行われることが多い。 本研究は,これらの逸話を決定的なランキングでなければ,少なくとも証拠に基づくヒューリスティックスで置き換えることを目的としている。 そこで我々は,特に人気の高い15のディープラーニングオプティマイザを広範囲に標準化したベンチマークを行い,幅広い選択肢を簡潔に概説した。 5万ドル以上の個人成績を分析し、以下の3点に貢献する。 (i)最適化性能はタスクによって大きく異なる。 (ii)既定パラメータによる複数のオプティマイザの評価は,1つの固定オプティマイザのハイパーパラメータのチューニングとほぼ同等である。 3) 全てのテストタスクで明らかに支配的な最適化手法を見分けることはできないが, 実験において一般的に競合する結果につながるパラメータ選択や特定の最適化手法のサブセットを著しく減らした。 当社のオープンソースは,新たな最適化手法をより有意義な評価のために,計算作業を必要とせずに,挑戦的で十分に調整されたベースラインとして利用可能です。

関連論文リスト

• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• A Survey on Multi-Objective based Parameter Optimization for Deep Learning [1.3223682837381137]
  深層ニューラルネットワークを用いたパラメータ最適化における多目的最適化手法の有効性について検討する。 これら2つの手法を組み合わせて、複数のアプリケーションにおける予測と分析の生成に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-17T07:48:54Z)
• Judging Adam: Studying the Performance of Optimization Methods on ML4SE Tasks [2.8961929092154697]
  ソースコードの深層学習モデルを用いて各種の性能を検証した。 Anaheadの選択は、モデルの品質に大きな影響を与えます。 ML4SEコミュニティは、コード関連のディープラーニングタスクのデフォルトとして、Adamを使うべきだ、と提案する。
  論文  参考訳（メタデータ） (2023-03-06T22:49:20Z)
• Characterization of Constrained Continuous Multiobjective Optimization Problems: A Performance Space Perspective [0.0]
  制約付き多目的最適化問題(CMOP)は不満足に理解されている。 ベンチマークのための適切なCMOPの選択は困難で、正式なバックグラウンドが欠如しています。 本稿では,制約付き多目的最適化のための新しい性能評価手法を提案する。
  論文  参考訳（メタデータ） (2023-02-04T14:12:30Z)
• VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
  私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。 私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。 学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
  論文  参考訳（メタデータ） (2022-11-17T18:39:07Z)
• Optimizer Amalgamation [124.33523126363728]
  私たちは、Amalgamationという新しい問題の研究を動機付けています。"Teacher"アマルガメーションのプールを、より強力な問題固有のパフォーマンスを持つ単一の"学生"にどのように組み合わせるべきなのでしょうか? まず、勾配降下による解析のプールをアマルガメートする3つの異なるメカニズムを定義する。 また, プロセスの分散を低減するため, 目標を摂動させることでプロセスの安定化を図る。
  論文  参考訳（メタデータ） (2022-03-12T16:07:57Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)
• Fast Rates for Contextual Linear Optimization [52.39202699484225]
  提案手法は, 下流決定性能を直接最適化する手法よりもはるかに高速な, 後悔の収束率を実現する。 予測モデルは、既存のツールを使ったトレーニングが簡単かつ高速で、解釈が簡単で、私たちが示しているように、非常にうまく機能する決定につながる。
  論文  参考訳（メタデータ） (2020-11-05T18:43:59Z)
• Reverse engineering learned optimizers reveals known and novel mechanisms [50.50540910474342]
  学習は最適化問題を解決するために自らを訓練できるアルゴリズムである。 実験の結果は,学習の動作方法に関するそれまでの曖昧な理解を解明し,今後の学習を解釈するためのツールを確立するのに役立つ。
  論文  参考訳（メタデータ） (2020-11-04T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。