論文の概要: A linearized framework and a new benchmark for model selection for
fine-tuning
- arxiv url: http://arxiv.org/abs/2102.00084v1
- Date: Fri, 29 Jan 2021 21:57:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 15:58:39.694011
- Title: A linearized framework and a new benchmark for model selection for
fine-tuning
- Title(参考訳): 線形化フレームワークと微調整のためのモデル選択のための新しいベンチマーク
- Authors: Aditya Deshpande, Alessandro Achille, Avinash Ravichandran, Hao Li,
Luca Zancato, Charless Fowlkes, Rahul Bhotika, Stefano Soatto, Pietro Perona
- Abstract要約: 異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。
モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。
我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
- 参考スコア(独自算出の注目度): 112.20527122513668
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fine-tuning from a collection of models pre-trained on different domains (a
"model zoo") is emerging as a technique to improve test accuracy in the
low-data regime. However, model selection, i.e. how to pre-select the right
model to fine-tune from a model zoo without performing any training, remains an
open topic. We use a linearized framework to approximate fine-tuning, and
introduce two new baselines for model selection -- Label-Gradient and
Label-Feature Correlation. Since all model selection algorithms in the
literature have been tested on different use-cases and never compared directly,
we introduce a new comprehensive benchmark for model selection comprising of:
i) A model zoo of single and multi-domain models, and ii) Many target tasks.
Our benchmark highlights accuracy gain with model zoo compared to fine-tuning
Imagenet models. We show our model selection baseline can select optimal models
to fine-tune in few selections and has the highest ranking correlation to
fine-tuning accuracy compared to existing algorithms.
- Abstract(参考訳): さまざまなドメイン("モデル動物園")で事前トレーニングされたモデルの集合の微調整が、低データ環境でのテスト精度を改善する技術として登場している。
ただし、モデル選択、すなわち。
トレーニングをせずにモデル動物園から微調整する適切なモデルを事前に選択する方法は、オープンなトピックのままです。
我々は線形化フレームワークを用いて微調整を近似し、モデル選択のための2つの新しいベースライン -- ラベル勾配とラベル特徴相関 - を導入する。
文献内のすべてのモデル選択アルゴリズムは、異なるユースケースでテストされ、直接比較されることがないので、我々は、モデル選択のための新しい包括的なベンチマークを導入する:i)単一およびマルチドメインモデルのモデル動物園、およびii)多くのターゲットタスク。
今回のベンチマークでは,imagenetモデルの微調整と比較して,model zooの精度向上が強調された。
モデル選択ベースラインは,少数の選択で微調整可能な最適モデルを選択することができ,既存のアルゴリズムと比較した場合の精度に最も高いランク付け相関を示す。
関連論文リスト
- REFRESH: Responsible and Efficient Feature Reselection Guided by SHAP Values [17.489279048199304]
REFRESHは、いくつかの新しいモデルをトレーニングすることなく、モデルパフォーマンスに望ましい追加の制約を達成できるように、機能を再選択する手法である。
REFRESHの基盤となるアルゴリズムは、SHAP値と相関解析を用いて、モデルをトレーニングすることなくモデルの予測を近似できる新しい手法である。
論文 参考訳(メタデータ) (2024-03-13T18:06:43Z) - DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。
質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。
我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
論文 参考訳(メタデータ) (2024-01-23T17:22:00Z) - Budgeted Online Model Selection and Fine-Tuning via Federated Learning [26.823435733330705]
オンラインモデル選択では、候補モデルのセットからモデルを選択して、データのストリームで予測を実行する。
その後の候補モデルの選択は、パフォーマンスに決定的な影響を与えます。
本稿では,学習者グループ(クライアント)が十分なメモリを持つサーバと対話するオンラインフェデレーションモデル選択フレームワークを提案する。
提案したアルゴリズムを用いて、クライアントとサーバは微調整モデルと協調して非定常環境に適応する。
論文 参考訳(メタデータ) (2024-01-19T04:02:49Z) - Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。
Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。
平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文 参考訳(メタデータ) (2023-09-14T17:45:51Z) - Knowledge is a Region in Weight Space for Fine-tuned Language Models [48.589822853418404]
異なるモデルの重み空間と下層の損失景観が相互に相互に相互に相互に相互に相互に相互に関連しているかを検討する。
同じデータセットで微調整された言語モデルが重み空間で厳密なクラスタを形成し、同じタスクから異なるデータセットで微調整されたモデルがより緩いクラスタを形成することを示す。
論文 参考訳(メタデータ) (2023-02-09T18:59:18Z) - Scalable Diverse Model Selection for Accessible Transfer Learning [21.194070453269592]
既存のモデル選択と転送可能性推定手法はここでは不十分であることが判明した。
これらのアルゴリズムの性能と速度を改善するための簡単な手法を導入する。
PARCは、様々なモデル選択において、他の方法よりも優れています。
論文 参考訳(メタデータ) (2021-11-12T22:53:28Z) - Universal and data-adaptive algorithms for model selection in linear
contextual bandits [52.47796554359261]
モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。
データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。
我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
論文 参考訳(メタデータ) (2021-11-08T18:05:35Z) - Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。
我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
論文 参考訳(メタデータ) (2021-06-20T02:15:20Z) - Multi-label learning for dynamic model type recommendation [13.304462985219237]
本稿では,オンラインローカルプール(OLP)技術のための問題非依存型動的ベースクラス化モデルを提案する。
提案するフレームワークは,関連するモデルタイプセットを推奨するマルチラベルメタ分類器を構築する。
実験の結果、異なるデータ分布は局所的な範囲で異なるモデルタイプを好んだ。
論文 参考訳(メタデータ) (2020-04-01T16:42:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。