論文の概要: Do optimization methods in deep learning applications matter?

• arxiv url: http://arxiv.org/abs/2002.12642v1
• Date: Fri, 28 Feb 2020 10:36:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:39:31.024814
• Title: Do optimization methods in deep learning applications matter?
• Title（参考訳）: ディープラーニングアプリケーションにおける最適化手法は重要か?
• Authors: Buse Melis Ozyildirim (1), Mariam Kiran (2) ((1) Department of Computer Engineering Cukurova University, (2) Energy Sciences Network Lawrence Berkeley National Laboratory)
• Abstract要約: 本稿では、どの最適化関数を使うか、さらに、どの関数が並列化の取り組みの恩恵を受けるかについて議論する。 実験では,標準CIFAR,MNIST,CartPole,FlappyBird実験における既製の最適化関数(CG,SGD,LM,L-BFGS)を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With advances in deep learning, exponential data growth and increasing model complexity, developing efficient optimization methods are attracting much research attention. Several implementations favor the use of Conjugate Gradient (CG) and Stochastic Gradient Descent (SGD) as being practical and elegant solutions to achieve quick convergence, however, these optimization processes also present many limitations in learning across deep learning applications. Recent research is exploring higher-order optimization functions as better approaches, but these present very complex computational challenges for practical use. Comparing first and higher-order optimization functions, in this paper, our experiments reveal that Levemberg-Marquardt (LM) significantly supersedes optimal convergence but suffers from very large processing time increasing the training complexity of both, classification and reinforcement learning problems. Our experiments compare off-the-shelf optimization functions(CG, SGD, LM and L-BFGS) in standard CIFAR, MNIST, CartPole and FlappyBird experiments.The paper presents arguments on which optimization functions to use and further, which functions would benefit from parallelization efforts to improve pretraining time and learning rate convergence.
• Abstract（参考訳）: ディープラーニングの進歩、指数的データ成長、モデル複雑性の増大により、効率的な最適化手法の開発が研究の注目を集めている。 いくつかの実装は、高速収束を実現するための実用的でエレガントなソリューションとして、共役勾配(CG)と確率勾配勾配(SGD)の使用を好んでいるが、これらの最適化プロセスはディープラーニングアプリケーション全体での学習に多くの制限を与える。 最近の研究では、より優れたアプローチとして高階最適化関数を探求しているが、これらは実用上は非常に複雑な計算課題を呈している。 本稿では,Levemberg-Marquardt (LM) が最適収束を著しく上回っているが,処理時間が非常に長いこと,分類と強化学習の両課題の訓練複雑性を増大させていることを,一階および高階の最適化関数と比較した。 本研究は,標準cifar,mnist,cartpole,flappybird実験における市販最適化関数(cg,sgd,lm,l-bfgs)の比較を行い,どの最適化関数を使用するか,さらに,事前学習時間と学習率の収束を改善するために,どの関数が並列化によって恩恵を受けるかについて議論する。

関連論文リスト

• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• Two Optimizers Are Better Than One: LLM Catalyst Empowers Gradient-Based Optimization for Prompt Tuning [69.95292905263393]
  我々は,勾配に基づく最適化と大規模言語モデル(MsLL)が相互補完的であることを示し,協調的な最適化手法を提案する。 私たちのコードはhttps://www.guozix.com/guozix/LLM-catalystでリリースされています。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• A Data-Driven Evolutionary Transfer Optimization for Expensive Problems in Dynamic Environments [9.098403098464704]
  データ駆動、つまりサロゲート支援、進化的最適化は、高価なブラックボックス最適化問題に対処するための効果的なアプローチとして認識されている。 本稿では,データ駆動型進化的最適化により動的最適化問題を解くための,シンプルだが効果的な伝達学習フレームワークを提案する。 提案手法の有効性を実世界のケーススタディで実証した。
  論文  参考訳（メタデータ） (2022-11-05T11:19:50Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Learning for Robust Combinatorial Optimization: Algorithm and Application [26.990988571097827]
  最適化学習(L2O)は、ニューラルネットワークの強い予測力を活用することにより、最適化問題を解決するための有望なアプローチとして登場した。 本稿では,不確実な状況下で頑健な解を迅速に出力するLRCOという新しい学習ベース最適化を提案する。 その結果、LRCOは、非常に少ない複雑さで、最悪のケースコストとランタイムを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-20T07:58:50Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。