論文の概要: Model Spider: Learning to Rank Pre-Trained Models Efficiently

• arxiv url: http://arxiv.org/abs/2306.03900v1
• Date: Tue, 6 Jun 2023 17:58:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 14:06:08.903721
• Title: Model Spider: Learning to Rank Pre-Trained Models Efficiently
• Title（参考訳）: Model Spider: 事前学習モデルのランク付けを効果的に行う
• Authors: Yi-Kai Zhang, Ting-Ji Huang, Yao-Xiang Ding, De-Chuan Zhan, Han-Jia Ye
• Abstract要約: モデルスパイダーはトークンを構築し、トークンを介してモデルとタスクのペア間の適合度スコアを測定することを学ぶ。 モデルスパイダーは効率と選択能力のバランスをとり、ウェブ上でクモを捕食するようにPTMの選択を行う。
• 参考スコア（独自算出の注目度）: 42.56392378060269
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Figuring out which Pre-Trained Model (PTM) from a model zoo fits the target task is essential to take advantage of plentiful model resources. With the availability of numerous heterogeneous PTMs from diverse fields, efficiently selecting the most suitable PTM is challenging due to the time-consuming costs of carrying out forward or backward passes over all PTMs. In this paper, we propose Model Spider, which tokenizes both PTMs and tasks by summarizing their characteristics into vectors to enable efficient PTM selection. By leveraging the approximated performance of PTMs on a separate set of training tasks, Model Spider learns to construct tokens and measure the fitness score between a model-task pair via their tokens. The ability to rank relevant PTMs higher than others generalizes to new tasks. With the top-ranked PTM candidates, we further learn to enrich task tokens with their PTM-specific semantics to re-rank the PTMs for better selection. Model Spider balances efficiency and selection ability, making PTM selection like a spider preying on a web. Model Spider demonstrates promising performance in various configurations of model zoos.
• Abstract（参考訳）: モデル動物園からPTM(Pre-Trained Model)がどのタスクに適合するかを判断することは、豊富なモデルリソースを活用するために不可欠である。 多様な分野から多種多様なptmが利用可能であるため、すべてのptmに対して前方または後方のパスを行う時間的コストがかかるため、最適なptmを効率的に選択することは困難である。 本稿では,これらの特徴をベクトルに要約することで,PTMとタスクの両方をトークン化するモデルスパイダーを提案する。 モデルのスパイダーは、個別のトレーニングタスクでPTMの近似パフォーマンスを活用することで、トークンを構築し、モデルとタスクのペア間の適合度スコアをトークンを介して測定することを学ぶ。 関連するPTMを他のものよりも高くランク付けする能力は、新しいタスクに一般化される。 トップランクのPTM候補では、PTM固有のセマンティクスでタスクトークンを豊かにすることで、より優れた選択のためにPTMを再ランクする。 モデルスパイダーは効率と選択能力のバランスをとり、ptmの選択をクモの巣のようにweb上で行う。 Model Spiderは、モデル動物園の様々な構成で有望なパフォーマンスを示す。

関連論文リスト

• MeToken: Uniform Micro-environment Token Boosts Post-Translational Modification Prediction [65.33218256339151]
  翻訳後修飾(PTM)はプロテオームの複雑さと機能を大幅に拡張する。 既存の計算手法は主に、配列依存的なモチーフの認識によって引き起こされる、PTM部位を予測するタンパク質配列に焦点を当てている。 本稿では,各酸のマイクロ環境をトークン化し,シーケンス情報と構造情報を統一された離散トークンに統合するMeTokenモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-04T07:14:28Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Automated categorization of pre-trained models for software engineering: A case study with a Hugging Face dataset [9.218130273952383]
  ソフトウェアエンジニアリング活動は、事前訓練されたモデル(PTM)の出現によって革新した。 Hugging Face (HF)プラットフォームは、いくつかのモデルを収集、保存、キュレーションすることで、PTMの使用を単純化する。 本稿では,SEタスクに対するPTMの自動分類を実現するためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-21T20:26:17Z)
• Rethinking Class-incremental Learning in the Era of Large Pre-trained Models via Test-Time Adaptation [20.62749699589017]
  クラス増分学習(クラス増分学習、class-incremental learning、CIL)は、クラスを新しいタスクから分類する逐次学習を伴う課題である。 本稿では,最初のタスクでアダプタを用いてPTMを微調整するTTACIL(Test-Time Adaptation for Class-Incremental Learning)を提案する。 私たちのTTACILは、PTMの豊富な機能によって各タスクの恩恵を受けながら、一切忘れることはありません。
  論文  参考訳（メタデータ） (2023-10-17T13:06:39Z)
• Revisiting Class-Incremental Learning with Pre-Trained Models: Generalizability and Adaptivity are All You Need [84.3507610522086]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに新しいクラスに適応することを目的としている。 近年の事前訓練は大きな進歩を遂げており、CILには膨大な事前訓練モデル(PTM)が利用できるようになった。 CILの中核となる要素は、モデル更新の適応性と知識伝達の一般化性である。
  論文  参考訳（メタデータ） (2023-03-13T17:59:02Z)
• ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization [65.58562481279023]
  PTMのランク付けと特徴選択によるアンサンブルのためのパラダイムであるZooDを提案する。 我々は,多様なアウト・オブ・ディストリビューション(OoD)タスクのための35のモデルからなる多様なモデル動物園において,我々のパラダイムを評価する。
  論文  参考訳（メタデータ） (2022-10-17T16:31:57Z)
• Ranking and Tuning Pre-trained Models: A New Paradigm of Exploiting Model Hubs [136.4492678691406]
  本稿では,事前学習したモデルのランク付けとチューニングにより,モデルハブを利用する新しいパラダイムを提案する。 最高のランク付けされたPTMは、モデルのアーキテクチャを好まない場合は、微調整とデプロイが可能です。 チューニング部は、専用メソッドを超越した、複数 PTM チューニングのための新しい手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T12:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。