論文の概要: Zero-Shot AutoML with Pretrained Models
- arxiv url: http://arxiv.org/abs/2206.08476v1
- Date: Thu, 16 Jun 2022 22:52:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-21 06:19:22.379043
- Title: Zero-Shot AutoML with Pretrained Models
- Title(参考訳): 事前学習モデルを用いたゼロショットオートML
- Authors: Ekrem \"Ozt\"urk and Fabio Ferreira and Hadi S. Jomaa and Lars
Schmidt-Thieme and Josif Grabocka and Frank Hutter
- Abstract要約: ドメインに依存しないメタ学習アプローチはゼロショットサロゲートモデルを学ぶ。
提案手法はChaLearn AutoDL Challengeベンチマークの厳密な時間制限の下で評価する。
- 参考スコア(独自算出の注目度): 39.928531675761135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given a new dataset D and a low compute budget, how should we choose a
pre-trained model to fine-tune to D, and set the fine-tuning hyperparameters
without risking overfitting, particularly if D is small? Here, we extend
automated machine learning (AutoML) to best make these choices. Our
domain-independent meta-learning approach learns a zero-shot surrogate model
which, at test time, allows to select the right deep learning (DL) pipeline
(including the pre-trained model and fine-tuning hyperparameters) for a new
dataset D given only trivial meta-features describing D such as image
resolution or the number of classes. To train this zero-shot model, we collect
performance data for many DL pipelines on a large collection of datasets and
meta-train on this data to minimize a pairwise ranking objective. We evaluate
our approach under the strict time limit of the vision track of the ChaLearn
AutoDL challenge benchmark, clearly outperforming all challenge contenders.
- Abstract(参考訳): 新しいデータセットDと低い計算予算を前提として、Dに微調整する事前学習モデルを選択し、特にDが小さい場合、オーバーフィッティングのリスクを伴わずに微調整ハイパーパラメータを設定するにはどうすればよいか?
ここでは、これらの選択を最大限に行うために、自動機械学習(AutoML)を拡張します。
我々のドメインに依存しないメタラーニングアプローチはゼロショットサロゲートモデルを学び、テスト時には、画像解像度やクラス数などのDを簡潔に記述したDのみを与えられた新しいデータセットDに対して、適切な深層学習パイプライン(事前学習モデルと微調整ハイパーパラメータを含む)を選択することができる。
このゼロショットモデルをトレーニングするために、多くのDLパイプラインのパフォーマンスデータをデータセットの大規模なコレクション上で収集し、このデータ上でメタトレインを行い、ペアのランク付けの目的を最小化する。
私たちは、chalearn autodl challengeベンチマークのビジョントラックの厳密な時間制限の下でのアプローチを評価し、すべての挑戦者よりも明らかに優れています。
関連論文リスト
- AutoXPCR: Automated Multi-Objective Model Selection for Time Series
Forecasting [1.0515439489916734]
本稿では,自動的かつ説明可能な多目的モデル選択のための新しい手法であるAutoXPCRを提案する。
我々の手法はメタラーニングを利用して、(P)予測誤差、(C)ミスプレキシティ、(R)ソース要求を含むPCR基準に沿ったモデルの性能を推定する。
我々の手法は、他のモデル選択手法よりも明らかに優れている。平均すると、最高の品質の90%のモデルに推奨する計算コストの20%しか必要としない。
論文 参考訳(メタデータ) (2023-12-20T14:04:57Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳(メタデータ) (2023-11-29T05:33:28Z) - GistScore: Learning Better Representations for In-Context Example
Selection with Gist Bottlenecks [3.9638110494107095]
In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。
本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。
我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
論文 参考訳(メタデータ) (2023-11-16T06:28:05Z) - On minimizing the training set fill distance in machine learning
regression [0.6526824510982802]
本研究では,選択した集合の充填距離を最小化することを目的としたデータ選択手法を提案する。
FPSを用いてトレーニングセットを選択することで、ガウスカーネル回帰アプローチの特定の場合のモデルの安定性を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-07-20T16:18:33Z) - Quick-Tune: Quickly Learning Which Pretrained Model to Finetune and How [62.467716468917224]
本稿では,最適事前学習モデルとハイパーパラメータを共同で探索し,微調整する手法を提案する。
本手法は,一連のデータセット上で,事前学習したモデルの性能に関する知識を伝達する。
得られたアプローチによって、新しいデータセットの正確な事前学習モデルを迅速に選択できることを実証的に実証する。
論文 参考訳(メタデータ) (2023-06-06T16:15:26Z) - MILO: Model-Agnostic Subset Selection Framework for Efficient Model
Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。
実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文 参考訳(メタデータ) (2023-01-30T20:59:30Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Training Data Subset Selection for Regression with Controlled
Generalization Error [19.21682938684508]
そこで我々は,データサブセット選択のための効率的な大規模化最小化アルゴリズムを開発した。
SELCONは、現在の最先端技術よりも精度と効率を効果的に交換する。
論文 参考訳(メタデータ) (2021-06-23T16:03:55Z) - Few-Shot Lifelong Learning [35.05196800623617]
Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。
提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。
提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-03-01T13:26:57Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳(メタデータ) (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。