論文の概要: A linearized framework and a new benchmark for model selection for fine-tuning

• arxiv url: http://arxiv.org/abs/2102.00084v1
• Date: Fri, 29 Jan 2021 21:57:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-02 15:58:39.694011
• Title: A linearized framework and a new benchmark for model selection for fine-tuning
• Title（参考訳）: 線形化フレームワークと微調整のためのモデル選択のための新しいベンチマーク
• Authors: Aditya Deshpande, Alessandro Achille, Avinash Ravichandran, Hao Li, Luca Zancato, Charless Fowlkes, Rahul Bhotika, Stefano Soatto, Pietro Perona
• Abstract要約: 異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。 モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。 我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
• 参考スコア（独自算出の注目度）: 112.20527122513668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning from a collection of models pre-trained on different domains (a "model zoo") is emerging as a technique to improve test accuracy in the low-data regime. However, model selection, i.e. how to pre-select the right model to fine-tune from a model zoo without performing any training, remains an open topic. We use a linearized framework to approximate fine-tuning, and introduce two new baselines for model selection -- Label-Gradient and Label-Feature Correlation. Since all model selection algorithms in the literature have been tested on different use-cases and never compared directly, we introduce a new comprehensive benchmark for model selection comprising of: i) A model zoo of single and multi-domain models, and ii) Many target tasks. Our benchmark highlights accuracy gain with model zoo compared to fine-tuning Imagenet models. We show our model selection baseline can select optimal models to fine-tune in few selections and has the highest ranking correlation to fine-tuning accuracy compared to existing algorithms.
• Abstract（参考訳）: さまざまなドメイン("モデル動物園")で事前トレーニングされたモデルの集合の微調整が、低データ環境でのテスト精度を改善する技術として登場している。 ただし、モデル選択、すなわち。 トレーニングをせずにモデル動物園から微調整する適切なモデルを事前に選択する方法は、オープンなトピックのままです。 我々は線形化フレームワークを用いて微調整を近似し、モデル選択のための2つの新しいベースライン -- ラベル勾配とラベル特徴相関 - を導入する。 文献内のすべてのモデル選択アルゴリズムは、異なるユースケースでテストされ、直接比較されることがないので、我々は、モデル選択のための新しい包括的なベンチマークを導入する:i)単一およびマルチドメインモデルのモデル動物園、およびii)多くのターゲットタスク。 今回のベンチマークでは,imagenetモデルの微調整と比較して,model zooの精度向上が強調された。 モデル選択ベースラインは,少数の選択で微調整可能な最適モデルを選択することができ,既存のアルゴリズムと比較した場合の精度に最も高いランク付け相関を示す。

関連論文リスト

• Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
  理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。 モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。 モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:57:49Z)
• Model Selection with Model Zoo via Graph Learning [45.30615308692713]
  本稿では,グラフ学習問題としてモデル選択を再構成する新しいフレームワークであるTransferGraphを紹介する。 我々は,TransferGraphが本質的なモデル-データセット関係を捕捉し,予測性能と実際の微調整結果との相関性を最大32%向上させる効果を,最先端の手法と比較した。
  論文  参考訳（メタデータ） (2024-04-05T09:50:00Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• DsDm: Model-Aware Dataset Selection with Datamodels [81.01744199870043]
  標準的なプラクティスは、データ品質という人間の考え方にマッチする例をフィルタリングすることです。 質の高い"データソースとの類似性に応じた選択は、ランダムに選択するデータに比べてパフォーマンスが向上しない(さらに傷つく)可能性がある。 我々のフレームワークは、データ品質に関する手作業による概念を回避し、学習プロセスがターゲットタスクの予測にデータポイントをトレーニングする方法を明確にモデル化する。
  論文  参考訳（メタデータ） (2024-01-23T17:22:00Z)
• Budgeted Online Model Selection and Fine-Tuning via Federated Learning [26.823435733330705]
  オンラインモデル選択では、候補モデルのセットからモデルを選択して、データのストリームで予測を実行する。 その後の候補モデルの選択は、パフォーマンスに決定的な影響を与えます。 本稿では,学習者グループ(クライアント)が十分なメモリを持つサーバと対話するオンラインフェデレーションモデル選択フレームワークを提案する。 提案したアルゴリズムを用いて、クライアントとサーバは微調整モデルと協調して非定常環境に適応する。
  論文  参考訳（メタデータ） (2024-01-19T04:02:49Z)
• Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
  6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。 Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。 平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
  論文  参考訳（メタデータ） (2023-09-14T17:45:51Z)
• Knowledge is a Region in Weight Space for Fine-tuned Language Models [48.589822853418404]
  異なるモデルの重み空間と下層の損失景観が相互に相互に相互に相互に相互に相互に相互に関連しているかを検討する。 同じデータセットで微調整された言語モデルが重み空間で厳密なクラスタを形成し、同じタスクから異なるデータセットで微調整されたモデルがより緩いクラスタを形成することを示す。
  論文  参考訳（メタデータ） (2023-02-09T18:59:18Z)
• Scalable Diverse Model Selection for Accessible Transfer Learning [21.194070453269592]
  既存のモデル選択と転送可能性推定手法はここでは不十分であることが判明した。 これらのアルゴリズムの性能と速度を改善するための簡単な手法を導入する。 PARCは、様々なモデル選択において、他の方法よりも優れています。
  論文  参考訳（メタデータ） (2021-11-12T22:53:28Z)
• Universal and data-adaptive algorithms for model selection in linear contextual bandits [52.47796554359261]
  モデル選択の最も単純な非自明な例を考える: 単純な多重武装バンディット問題と線形文脈バンディット問題とを区別する。 データ適応的な方法で探索する新しいアルゴリズムを導入し、$mathcalO(dalpha T1- alpha)$という形式の保証を提供する。 我々のアプローチは、いくつかの仮定の下で、ネストされた線形文脈包帯のモデル選択に拡張する。
  論文  参考訳（メタデータ） (2021-11-08T18:05:35Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。