論文の概要: Model Spider: Learning to Rank Pre-Trained Models Efficiently
- arxiv url: http://arxiv.org/abs/2306.03900v1
- Date: Tue, 6 Jun 2023 17:58:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 14:06:08.903721
- Title: Model Spider: Learning to Rank Pre-Trained Models Efficiently
- Title(参考訳): Model Spider: 事前学習モデルのランク付けを効果的に行う
- Authors: Yi-Kai Zhang, Ting-Ji Huang, Yao-Xiang Ding, De-Chuan Zhan, Han-Jia Ye
- Abstract要約: モデルスパイダーはトークンを構築し、トークンを介してモデルとタスクのペア間の適合度スコアを測定することを学ぶ。
モデルスパイダーは効率と選択能力のバランスをとり、ウェブ上でクモを捕食するようにPTMの選択を行う。
- 参考スコア(独自算出の注目度): 42.56392378060269
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Figuring out which Pre-Trained Model (PTM) from a model zoo fits the target
task is essential to take advantage of plentiful model resources. With the
availability of numerous heterogeneous PTMs from diverse fields, efficiently
selecting the most suitable PTM is challenging due to the time-consuming costs
of carrying out forward or backward passes over all PTMs. In this paper, we
propose Model Spider, which tokenizes both PTMs and tasks by summarizing their
characteristics into vectors to enable efficient PTM selection. By leveraging
the approximated performance of PTMs on a separate set of training tasks, Model
Spider learns to construct tokens and measure the fitness score between a
model-task pair via their tokens. The ability to rank relevant PTMs higher than
others generalizes to new tasks. With the top-ranked PTM candidates, we further
learn to enrich task tokens with their PTM-specific semantics to re-rank the
PTMs for better selection. Model Spider balances efficiency and selection
ability, making PTM selection like a spider preying on a web. Model Spider
demonstrates promising performance in various configurations of model zoos.
- Abstract(参考訳): モデル動物園からPTM(Pre-Trained Model)がどのタスクに適合するかを判断することは、豊富なモデルリソースを活用するために不可欠である。
多様な分野から多種多様なptmが利用可能であるため、すべてのptmに対して前方または後方のパスを行う時間的コストがかかるため、最適なptmを効率的に選択することは困難である。
本稿では,これらの特徴をベクトルに要約することで,PTMとタスクの両方をトークン化するモデルスパイダーを提案する。
モデルのスパイダーは、個別のトレーニングタスクでPTMの近似パフォーマンスを活用することで、トークンを構築し、モデルとタスクのペア間の適合度スコアをトークンを介して測定することを学ぶ。
関連するPTMを他のものよりも高くランク付けする能力は、新しいタスクに一般化される。
トップランクのPTM候補では、PTM固有のセマンティクスでタスクトークンを豊かにすることで、より優れた選択のためにPTMを再ランクする。
モデルスパイダーは効率と選択能力のバランスをとり、ptmの選択をクモの巣のようにweb上で行う。
Model Spiderは、モデル動物園の様々な構成で有望なパフォーマンスを示す。
関連論文リスト
- PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in
Open-Source Software [6.243303627949341]
本稿では,281,638PTMのメタデータと全PTMの詳細なスナップショットを含むPeaTMOSSデータセットを提案する。
データセットには15,129のダウンストリームGitHubリポジトリから2,530のPTMへの44,337のマッピングが含まれている。
我々の分析は、PTMサプライチェーンに関する最初の要約統計を提供し、PTM開発の動向とPTMパッケージドキュメンテーションの共通の欠点を示している。
論文 参考訳(メタデータ) (2024-02-01T15:55:50Z) - Rethinking Class-incremental Learning in the Era of Large Pre-trained Models via Test-Time Adaptation [20.62749699589017]
クラス増分学習(クラス増分学習、class-incremental learning、CIL)は、クラスを新しいタスクから分類する逐次学習を伴う課題である。
本稿では,最初のタスクでアダプタを用いてPTMを微調整するTTACIL(Test-Time Adaptation for Class-Incremental Learning)を提案する。
私たちのTTACILは、PTMの豊富な機能によって各タスクの恩恵を受けながら、一切忘れることはありません。
論文 参考訳(メタデータ) (2023-10-17T13:06:39Z) - Revisiting Class-Incremental Learning with Pre-Trained Models:
Generalizability and Adaptivity are All You Need [76.10635571879762]
クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。
近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。
CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
論文 参考訳(メタデータ) (2023-03-13T17:59:02Z) - ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。
我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
論文 参考訳(メタデータ) (2022-10-17T16:31:57Z) - Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting
Model Hubs [136.4492678691406]
本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。
最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。
チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
論文 参考訳(メタデータ) (2021-10-20T12:59:23Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳(メタデータ) (2021-10-14T17:40:08Z) - Pre-Trained Models: Past, Present and Future [126.21572378910746]
大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。
知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。
AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
論文 参考訳(メタデータ) (2021-06-14T02:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。