論文の概要: How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers
- arxiv url: http://arxiv.org/abs/2010.09889v1
- Date: Mon, 19 Oct 2020 21:46:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 21:32:55.643895
- Title: How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers
- Title(参考訳): ニューラルネットワークトレーニングでは、どの程度の進歩がありましたか?
ベンチマーク最適化のための新しい評価プロトコル
- Authors: Yuanhao Xiong, Xuanqing Liu, Li-Cheng Lan, Yang You, Si Si, Cho-Jui
Hsieh
- Abstract要約: 本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
- 参考スコア(独自算出の注目度): 86.36020260204302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many optimizers have been proposed for training deep neural networks, and
they often have multiple hyperparameters, which make it tricky to benchmark
their performance. In this work, we propose a new benchmarking protocol to
evaluate both end-to-end efficiency (training a model from scratch without
knowing the best hyperparameter) and data-addition training efficiency (the
previously selected hyperparameters are used for periodically re-training the
model with newly collected data). For end-to-end efficiency, unlike previous
work that assumes random hyperparameter tuning, which over-emphasizes the
tuning time, we propose to evaluate with a bandit hyperparameter tuning
strategy. A human study is conducted to show that our evaluation protocol
matches human tuning behavior better than the random search. For data-addition
training, we propose a new protocol for assessing the hyperparameter
sensitivity to data shift. We then apply the proposed benchmarking framework to
7 optimizers and various tasks, including computer vision, natural language
processing, reinforcement learning, and graph mining. Our results show that
there is no clear winner across all the tasks.
- Abstract(参考訳): ディープニューラルネットワークのトレーニングには、多くのオプティマイザが提案されており、複数のハイパーパラメータを持つことが多いため、パフォーマンスのベンチマークが難しい。
そこで本研究では, 最適ハイパーパラメータを知らずにモデルをスクラッチからトレーニングする) とデータ付加訓練効率(新たに収集したデータで定期的にモデルを再トレーニングするために, 選択したハイパーパラメータが使用される)の両方を評価するための新しいベンチマークプロトコルを提案する。
エンド・ツー・エンドの効率性については、チューニング時間を過大に強調するランダムハイパーパラメータチューニングを前提とした従来の作業とは異なり、banditハイパーパラメータチューニング戦略を用いて評価する。
評価プロトコルがランダム検索よりも人間のチューニング行動に適合することを示すために,人間実験を行った。
データ付加訓練では,データシフトに対するハイパーパラメータ感度を評価するための新しいプロトコルを提案する。
次に,提案したベンチマークフレームワークを,コンピュータビジョン,自然言語処理,強化学習,グラフマイニングなど7つの最適化タスクに適用する。
結果は、すべてのタスクに明確な勝者がないことを示している。
関連論文リスト
- Dynamic Adapter Meets Prompt Tuning: Parameter-Efficient Transfer Learning for Point Cloud Analysis [51.14136878142034]
ポイントクラウド分析は、事前訓練されたモデルのポイントクラウドの転送によって、優れたパフォーマンスを実現している。
モデル適応のための既存の方法は通常、高い計算コストに依存するため、非効率な全てのモデルパラメータを更新する。
本稿では,タスク性能とパラメータ効率のトレードオフを考慮した,ポイントクラウド解析のためのパラメータ効率変換学習を提案する。
論文 参考訳(メタデータ) (2024-03-03T08:25:04Z) - Target Variable Engineering [0.0]
数値的対象を予測するために訓練された回帰モデルの予測性能と、2項化対象を予測するために訓練された分類器を比較した。
回帰は最適性能に収束するためには、はるかに多くの計算作業を必要とする。
論文 参考訳(メタデータ) (2023-10-13T23:12:21Z) - Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。
本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。
得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
論文 参考訳(メタデータ) (2023-06-06T16:15:26Z) - Hyperparameter Optimization through Neural Network Partitioning [11.6941692990626]
本稿では,ニューラルネットワークにおけるハイパーパラメータの最適化をシンプルかつ効率的に行う方法を提案する。
本手法では,トレーニングデータとニューラルネットワークモデルをデータシャードとパラメータ分割に$K$に分割する。
我々は、この目的を単一のトレーニングランで様々なハイパーパラメータを最適化するために適用できることを実証した。
論文 参考訳(メタデータ) (2023-04-28T11:24:41Z) - Simple and Effective Gradient-Based Tuning of Sequence-to-Sequence
Models [8.370770440898454]
より大きな言語モデルをトレーニングする膨大なコストは、チューニングを違法に高価にする可能性がある。
本稿では,勾配に基づくハイパーパラメータ最適化をシーケンシャル・ツー・シーケンス・タスクに初めて適用する。
ニューラルネットワーク翻訳と自然言語理解(NLU)の両タスクにおいて,強いベースラインに対する効率性と性能の向上を示す。
論文 参考訳(メタデータ) (2022-09-10T14:52:41Z) - Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳(メタデータ) (2022-05-11T17:10:41Z) - Automatic prior selection for meta Bayesian optimization with a case
study on tuning deep neural network optimizers [47.013395100497775]
このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。
BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。
我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
論文 参考訳(メタデータ) (2021-09-16T20:46:26Z) - Rethinking the Hyperparameters for Fine-tuning [78.15505286781293]
事前訓練されたImageNetモデルからの微調整は、様々なコンピュータビジョンタスクのデファクトスタンダードとなっている。
ファインチューニングの現在のプラクティスは、通常、ハイパーパラメータのアドホックな選択を選択することである。
本稿では、微調整のためのハイパーパラメータの設定に関するいくつかの一般的なプラクティスを再検討する。
論文 参考訳(メタデータ) (2020-02-19T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。