論文の概要: Is Scaling Learned Optimizers Worth It? Evaluating The Value of VeLO's
4000 TPU Months
- arxiv url: http://arxiv.org/abs/2310.18191v2
- Date: Thu, 7 Mar 2024 18:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:34:47.457885
- Title: Is Scaling Learned Optimizers Worth It? Evaluating The Value of VeLO's
4000 TPU Months
- Title(参考訳): スケーリング学習最適化は価値があるか?
VeLO 4000 TPU ヶ月の価値評価
- Authors: Fady Rezk, Antreas Antoniou, Henry Gouk, Timothy Hospedales
- Abstract要約: VeLOは,これまでで最大の,汎用的な"基礎"のトレーニングの試みである。
VeLOは4000ヶ月以上かけて、何千もの機械学習タスクでトレーニングされた。
- 参考スコア(独自算出の注目度): 18.73444918172383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze VeLO (versatile learned optimizer), the largest scale attempt to
train a general purpose "foundational" optimizer to date. VeLO was trained on
thousands of machine learning tasks using over 4000 TPU months with the goal of
producing an optimizer capable of generalizing to new problems while being
hyperparameter free, and outperforming industry standards such as Adam. We
independently evaluate VeLO on the MLCommons optimizer benchmark suite. We find
that, contrary to initial claims: (1) VeLO has a critical hyperparameter that
needs problem-specific tuning, (2) VeLO does not necessarily outperform
competitors in quality of solution found, and (3) VeLO is not faster than
competing optimizers at reducing the training loss. These observations call
into question VeLO's generality and the value of the investment in training it.
- Abstract(参考訳): 汎用的な"基礎的"オプティマイザをこれまでで最大規模のトレーニングの試みであるVeLO(versatile learned optimizationr)を分析した。
VeLOは4000 TPUヶ月以上を使用して数千の機械学習タスクをトレーニングし、ハイパーパラメータフリーで新しい問題に一般化し、Adamのような業界標準を上回ったオプティマイザの開発を目標とした。
MLCommonsオプティマイザベンチマークスイート上で,VeLOを独立に評価する。
初期の主張とは対照的に,(1)VeLOは問題固有のチューニングを必要とする臨界ハイパーパラメータを持ち,(2)VeLOはソリューションの品質において必ずしも競合より優れておらず,(3)VeLOはトレーニング損失を減らすために競合するオプティマイザよりも高速ではない。
これらの観察は、ヴェロの一般性とそれを訓練する投資の価値に疑問を投げかける。
関連論文リスト
- MixEval: Deriving Wisdom of the Crowd from LLM Benchmark Mixtures [57.886592207948844]
市販のベンチマークを戦略的に混合することにより,効率的な金標準評価を実現するための新しいパラダイムであるMixEvalを提案する。
提案手法は,(1)包括的でよく分散された実世界のユーザクエリと(2)Webから抽出したクエリと,既存のベンチマークからの類似したクエリとをマッチングすることによって,効率よく,かつ,かなり改善された基盤トラスベースのベンチマークを橋渡しする。
論文 参考訳(メタデータ) (2024-06-03T05:47:05Z) - $μ$LO: Compute-Efficient Meta-Generalization of Learned Optimizers [25.696858394747252]
学習(LO)は、ニューラルネットワークのウォールクロックトレーニング時間を著しく短縮することができる。
彼らは、メタトレーニングで見られるものよりもはるかに大きなトレーニングネットワークにおいて、目に見えないタスク(メタ一般化)を最適化するのに苦労する。
我々は$mu$-パラメータ化LOに対する簡単なメタトレーニングレシピを提案する。
論文 参考訳(メタデータ) (2024-05-31T19:28:47Z) - Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。
種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-20T07:09:56Z) - Learning Rewards to Optimize Global Performance Metrics in Deep
Reinforcement Learning [6.68194398006805]
我々は,グローバルな性能指標を最適化できる新しいRL法LR4GPMを提案する。
いくつかの領域におけるLR4GPMの効率を実証する。
特に、LR4GPMは最近の自動運転コンペで優勝者を上回っている。
論文 参考訳(メタデータ) (2023-03-16T01:43:18Z) - M-L2O: Towards Generalizable Learning-to-Optimize by Test-Time Fast
Self-Adaptation [145.7321032755538]
L2O(Learning to Optimize)は、複雑なタスクの最適化手順を著しく加速させるため、注目を集めている。
本稿では, アウト・オブ・ディストリビューションタスクへの高速なテスト時間自己適応を実現するL2Oをメタトレーニングすることで, このオープンな課題に対する潜在的な解決策を検討する。
論文 参考訳(メタデータ) (2023-02-28T19:23:20Z) - Learning to Generalize Provably in Learning to Optimize [185.71326306329678]
最適化学習(L2O)は、データ駆動アプローチによる最適化設計を自動化することで、人気が高まっている。
現在のL2O法は、少なくとも2回は一般化性能の低下に悩まされることが多い。
我々はこの2つのメトリクスを平坦性を考慮した正規化器としてL2Oフレームワークに組み込むことを提案する。
論文 参考訳(メタデータ) (2023-02-22T01:17:31Z) - Expert-Calibrated Learning for Online Optimization with Switching Costs [28.737193318136725]
スイッチングコストによるオンライン凸最適化について検討する。
機械学習(ML)ベースのパワーを取り入れることで、MLに強化されたオンラインアルゴリズムが最先端として現れている。
本稿では,エキスパートキャリブレータを明示的に考慮し,MLに基づくアルゴリズムを訓練するEC-L2Oを提案する。
論文 参考訳(メタデータ) (2022-04-18T21:54:33Z) - Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。
この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
論文 参考訳(メタデータ) (2021-03-23T20:46:20Z) - Training Stronger Baselines for Learning to Optimize [119.35557905664832]
最も単純なL2Oモデルであっても、より優れたトレーニングが可能であることを示します。
我々は、分析学の振る舞いを参考にして、非政治模倣学習を利用してL2O学習を指導する。
改良されたトレーニング技術は、様々な最先端のL2Oモデルにプラグインされ、即座に性能が向上する。
論文 参考訳(メタデータ) (2020-10-18T20:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。