論文の概要: SMOOTHIE: A Theory of Hyper-parameter Optimization for Software
Analytics
- arxiv url: http://arxiv.org/abs/2401.09622v1
- Date: Wed, 17 Jan 2024 22:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 18:19:26.493374
- Title: SMOOTHIE: A Theory of Hyper-parameter Optimization for Software
Analytics
- Title(参考訳): SMOOTHIE:ソフトウェア分析のためのハイパーパラメータ最適化の理論
- Authors: Rahul Yedida and Tim Menzies
- Abstract要約: 本稿では,スモースネスを考慮した新しいハイパーパラメータSMOOTHIEの実装とテストを行う。
実験には、GitHubイシューの寿命予測、静的コード警告における偽アラームの検出、欠陥予測などがある。
SMOOTHIEは以前の最先端技術よりも300%速く走った。
- 参考スコア(独自算出の注目度): 14.0078949388954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hyper-parameter optimization is the black art of tuning a learner's control
parameters. In software analytics, a repeated result is that such tuning can
result in dramatic performance improvements. Despite this, hyper-parameter
optimization is often applied rarely or poorly in software analytics--perhaps
due to the CPU cost of exploring all those parameter options can be
prohibitive.
We theorize that learners generalize better when the loss landscape is
``smooth''. This theory is useful since the influence on ``smoothness'' of
different hyper-parameter choices can be tested very quickly (e.g. for a deep
learner, after just one epoch).
To test this theory, this paper implements and tests SMOOTHIE, a novel
hyper-parameter optimizer that guides its optimizations via considerations of
``smothness''. The experiments of this paper test SMOOTHIE on numerous SE tasks
including (a) GitHub issue lifetime prediction; (b) detecting false alarms in
static code warnings; (c) defect prediction, and (d) a set of standard ML
datasets. In all these experiments, SMOOTHIE out-performed state-of-the-art
optimizers. Better yet, SMOOTHIE ran 300% faster than the prior state-of-the
art. We hence conclude that this theory (that hyper-parameter optimization is
best viewed as a ``smoothing'' function for the decision landscape), is both
theoretically interesting and practically very useful.
To support open science and other researchers working in this area, all our
scripts and datasets are available on-line at
https://github.com/yrahul3910/smoothness-hpo/.
- Abstract(参考訳): ハイパーパラメータ最適化は、学習者の制御パラメータをチューニングするブラックアートである。
ソフトウェア分析では、このようなチューニングが劇的なパフォーマンス向上をもたらすことが繰り返される。
それにもかかわらず、ハイパーパラメータ最適化はソフトウェア分析においてまれに、あるいは不十分に適用されることが多い。
ロスランドスケープが `smooth'' である場合,学習者はより一般化する。
この理論は、異なるハイパーパラメータの選択の ‘smoothness'' への影響を非常に迅速にテストできる(例えば、深い学習者の場合、1つのエポックの後)ので有用である。
この理論を検証するために,<smothness'を考慮した新しいパラメータ最適化器SMOOTHIEの実装と試験を行った。
本論文は,多数のSEタスクにおけるSMOOTHIEのテスト実験である。
(a)GitHubは生涯予測を発行する。
b) 静的コード警告における誤報を検出すること
(c)欠陥予測、及び
(d) 標準的なMLデータセットのセット。
これらすべての実験において、SMOOTHIEは最先端のオプティマイザを上回った。
SMOOTHIEは従来の最先端技術よりも300%速く走った。
したがって、この理論(超パラメータ最適化は、決定ランドスケープの '`smoothing'' 関数として最もよく見なされる)は理論的に興味深く、実用的にも非常に有用である。
この領域で働くオープンサイエンスや他の研究者をサポートするために、私たちのスクリプトとデータセットはすべて、https://github.com/yrahul3910/smoothness-hpo/でオンラインで利用できます。
関連論文リスト
- Should I try multiple optimizers when fine-tuning pre-trained
Transformers for NLP tasks? Should I tune their hyperparameters? [14.349943044268471]
SGD(Gradient Descent)は、トレーニングのためのニューラルネットワークの選択に使用される。
学習率だけをチューニングすることは、ほとんどの場合、すべてのハイパーパラメータをチューニングするのと同じくらい良いことです。
最適なアダプティブバウンド(例えばAdam)を選択して、その学習率を推奨します。
論文 参考訳(メタデータ) (2024-02-10T13:26:14Z) - MADA: Meta-Adaptive Optimizers through hyper-gradient Descent [76.80594193051837]
メタ適応(MADA)は、複数の既知の知識を一般化し、トレーニング中に最も適した知識を動的に学習できる統合フレームワークである。
我々は、CNN、ResNet、GPT-2モデルをトレーニングするために、視覚および言語タスクに関する他の人気のあるGradsとMADAを比較した。
MADAは、他の人気のあるGradsがGPT-2トレーニングで行なっているAdamよりも3倍のバリデーションパフォーマンスが得られます。
論文 参考訳(メタデータ) (2024-01-17T00:16:46Z) - Stochastic Optimal Control Matching [56.325232632863276]
最適制御マッチング(SOCM)は、最適制御のための新しい反復拡散最適化(IDO)技術である。
本アルゴリズムは4つの制御問題のうち3つに対して最適制御を行うために既存のすべてのIDO手法よりも低い誤差を実現する。
論文 参考訳(メタデータ) (2023-12-04T16:49:43Z) - ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳(メタデータ) (2022-07-07T04:42:54Z) - Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free
Optimization Algorithms [0.6543507682026964]
Deep Learning (DL) アプリケーションは、ジーンやPyTorchといったDLライブラリやフレームワークを使って構築されている。
これらのフレームワークは複雑なパラメータを持ち、優れたトレーニングを得るために調整する。
そこで,本論文では,トレーニングと推論性能を改善するために,DLフレームワークのパラメータをチューニングする問題をブラックボックス問題として扱う。
論文 参考訳(メタデータ) (2021-09-13T19:10:23Z) - Experimental Investigation and Evaluation of Model-based Hyperparameter
Optimization [0.3058685580689604]
本稿では、一般的な機械学習アルゴリズムの理論的および実践的な結果の概要を述べる。
Rパッケージmlrは機械学習モデルの統一インターフェースとして使用される。
論文 参考訳(メタデータ) (2021-07-19T11:37:37Z) - Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。
具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。
次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
論文 参考訳(メタデータ) (2021-02-17T21:03:05Z) - Gravity Optimizer: a Kinematic Approach on Optimization in Deep Learning [0.0]
グラデーションに基づく最適化のための別のアルゴリズムであるgravityを紹介する。
本論文では,深層学習モデルの損失を軽減するために,新しいアイデアがパラメータをどう変えるかを説明する。
また、移動平均の代替案を提案します。
論文 参考訳(メタデータ) (2021-01-22T16:27:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。