論文の概要: Using a thousand optimization tasks to learn hyperparameter search
strategies
- arxiv url: http://arxiv.org/abs/2002.11887v3
- Date: Wed, 1 Apr 2020 00:35:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 07:39:45.715070
- Title: Using a thousand optimization tasks to learn hyperparameter search
strategies
- Title(参考訳): 数千の最適化タスクを用いたハイパーパラメータ探索戦略の学習
- Authors: Luke Metz, Niru Maheswaranathan, Ruoxi Sun, C. Daniel Freeman, Ben
Poole, Jascha Sohl-Dickstein
- Abstract要約: 本稿では、ニューラルネットワークのトレーニングと評価に使用するニューラルネットワークのデータセットであるTaskSetを紹介する。
TaskSetはそのサイズと多様性に特有で、完全な接続または畳み込みネットワークによるイメージ分類から変分オートエンコーダ、さまざまなデータセット上の非ボリューム保存フローまで、数千以上のタスクを含んでいる。
- 参考スコア(独自算出の注目度): 53.318615663332274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present TaskSet, a dataset of tasks for use in training and evaluating
optimizers. TaskSet is unique in its size and diversity, containing over a
thousand tasks ranging from image classification with fully connected or
convolutional neural networks, to variational autoencoders, to non-volume
preserving flows on a variety of datasets. As an example application of such a
dataset we explore meta-learning an ordered list of hyperparameters to try
sequentially. By learning this hyperparameter list from data generated using
TaskSet we achieve large speedups in sample efficiency over random search. Next
we use the diversity of the TaskSet and our method for learning hyperparameter
lists to empirically explore the generalization of these lists to new
optimization tasks in a variety of settings including ImageNet classification
with Resnet50 and LM1B language modeling with transformers. As part of this
work we have opensourced code for all tasks, as well as ~29 million training
curves for these problems and the corresponding hyperparameters.
- Abstract(参考訳): トレーニングやオプティマイザ評価に使用するタスクのデータセットであるTaskSetを提示する。
tasksetはサイズと多様性においてユニークであり、完全連結または畳み込みニューラルネットワークによる画像分類から変分オートエンコーダ、さまざまなデータセット上の非ボリューム保存フローまで、数千以上のタスクを含んでいる。
このようなデータセットのサンプルアプリケーションとして、逐次的に試行するハイパーパラメータの順序リストをメタラーニングします。
TaskSetを用いて生成されたデータからこのハイパーパラメータリストを学習することにより、ランダム検索よりもサンプル効率を大幅に高速化する。
次に、タスクセットの多様性とハイパーパラメータリストの学習手法を用いて、resnet50によるimagenet分類やトランスフォーマによるlm1b言語モデリングなど、さまざまな設定における新しい最適化タスクへのリストの一般化を実証的に検討する。
この作業の一環として、すべてのタスクのコードをオープンソース化し、これらの問題とそれに対応するハイパーパラメータのトレーニング曲線は約2900万に達しました。
関連論文リスト
- Identification of Negative Transfers in Multitask Learning Using
Surrogate Models [29.882265735630046]
マルチタスク学習は、複数の関連するソースタスクで強化することで、低リソースのターゲットタスクのトレーニングに広く使用されている。
マルチタスク学習における重要な問題は、ターゲットタスクに利益をもたらすソースタスクのサブセットを特定することである。
本稿では,サロゲートモデルを用いてこの問題に対処する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-03-25T23:16:11Z) - AdaTask: A Task-aware Adaptive Learning Rate Approach to Multi-task
Learning [19.201899503691266]
このパラメータ上の各タスクの総更新によって、パラメータのタスク支配度を測定する。
本稿では,各タスクの強調勾配と学習率を分離するタスクワイド適応学習率アプローチであるAdaTaskを提案する。
コンピュータビジョンとレコメンダシステムMTLデータセットの実験は、AdaTaskが支配的なタスクのパフォーマンスを大幅に改善することを示した。
論文 参考訳(メタデータ) (2022-11-28T04:24:38Z) - Polyhistor: Parameter-Efficient Multi-Task Adaptation for Dense Vision
Tasks [36.34331439747556]
本稿では,複数のタスクにまたがる情報をトレーニング可能なパラメータで共有するために,PolyhistorとPolyhistor-Liteを提案する。
具体的には、Polyhistorは、トレーニング可能なパラメータの10%しか使用せず、最先端技術と比較して、競争精度を達成している。
論文 参考訳(メタデータ) (2022-10-07T00:25:02Z) - Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient
Multi-task Knowledge Sharing [53.399742232323895]
ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。
異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。
パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
論文 参考訳(メタデータ) (2022-05-24T10:48:33Z) - Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。
他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。
我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文 参考訳(メタデータ) (2022-03-30T23:16:07Z) - Multi-Task Learning with Sequence-Conditioned Transporter Networks [67.57293592529517]
シーケンスコンディショニングと重み付きサンプリングのレンズによるマルチタスク学習の実現を目指している。
合成タスクを対象とした新しいベンチマークであるMultiRavensを提案する。
次に,視覚に基づくエンドツーエンドシステムアーキテクチャであるSequence-Conditioned Transporter Networksを提案する。
論文 参考訳(メタデータ) (2021-09-15T21:19:11Z) - Exceeding the Limits of Visual-Linguistic Multi-Task Learning [0.0]
同様に構造化された入力データを共有する1000のユニークな分類タスクを構築した。
これらの分類タスクは、異なるeコマースウェブサイトの製品階層の学習に重点を置いている。
マルチタスク学習(MTL)を用いて,これらの課題を一斉に解決する。
論文 参考訳(メタデータ) (2021-07-27T19:42:14Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z) - Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。
我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。
機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-06T05:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。