論文の概要: Scalable Diverse Model Selection for Accessible Transfer Learning

• arxiv url: http://arxiv.org/abs/2111.06977v1
• Date: Fri, 12 Nov 2021 22:53:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 13:20:34.687610
• Title: Scalable Diverse Model Selection for Accessible Transfer Learning
• Title（参考訳）: アクセシブルトランスファー学習のためのスケーラブルな多元モデル選択
• Authors: Daniel Bolya, Rohit Mittapalli, Judy Hoffman
• Abstract要約: 既存のモデル選択と転送可能性推定手法はここでは不十分であることが判明した。 これらのアルゴリズムの性能と速度を改善するための簡単な手法を導入する。 PARCは、様々なモデル選択において、他の方法よりも優れています。
• 参考スコア（独自算出の注目度）: 21.194070453269592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the preponderance of pretrained deep learning models available off-the-shelf from model banks today, finding the best weights to fine-tune to your use-case can be a daunting task. Several methods have recently been proposed to find good models for transfer learning, but they either don't scale well to large model banks or don't perform well on the diversity of off-the-shelf models. Ideally the question we want to answer is, "given some data and a source model, can you quickly predict the model's accuracy after fine-tuning?" In this paper, we formalize this setting as "Scalable Diverse Model Selection" and propose several benchmarks for evaluating on this task. We find that existing model selection and transferability estimation methods perform poorly here and analyze why this is the case. We then introduce simple techniques to improve the performance and speed of these algorithms. Finally, we iterate on existing methods to create PARC, which outperforms all other methods on diverse model selection. We have released the benchmarks and method code in hope to inspire future work in model selection for accessible transfer learning.
• Abstract（参考訳）: モデルバンクから市販のディープラーニングモデルがプレポンダランス(preponderance)で利用可能になった今、ユースケースを微調整するための最善の重みを見つけるのは大変な作業だ。 トランスファーラーニングのための優れたモデルを見つけるために、最近いくつかの方法が提案されているが、それらは大きなモデルバンクにうまくスケールしないか、あるいはオフザシェルフモデルの多様性でうまく機能しない。 理想的には、私たちが答えたい質問は、“いくつかのデータとソースモデルを使って、微調整後のモデルの精度を素早く予測できるか? 本稿では,この設定を「スキャラブル・バラエティ・モデル選択」と定式化し,タスク評価のためのベンチマークをいくつか提案する。 既存のモデル選択と転送可能性推定手法はここでは性能が悪く、なぜそうなるのかを解析する。 次に,これらのアルゴリズムの性能と速度を改善するための簡単な手法を提案する。 最後に、PARCを作成するために既存のメソッドを反復的に実行し、様々なモデル選択において他のメソッドよりも優れています。 我々は,移動学習のためのモデル選択における将来的な取り組みを促すために,ベンチマークとメソッドコードをリリースした。

関連論文リスト

• Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection [40.85209520973634]
  理想的なモデル選択スキームは、候補モデルの大きなプール上で2つの操作を効率的にサポートすべきである。 モデル選択に対する従来の解決策は、これらの2つの操作のうちの少なくとも1つに対して高い計算複雑性を必要とする。 モデル埋め込みを実証的に実現したStandardized Embedderを提案する。
  論文  参考訳（メタデータ） (2024-06-11T17:57:49Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Optimizing Active Learning for Low Annotation Budgets [6.753808772846254]
  ディープラーニングでは、アクティブな学習は通常、微調整によって連続した深層モデルを更新する反復的なプロセスとして実装される。 移行学習にインスパイアされたアプローチを用いてこの問題に対処する。 本稿では,ALプロセスの反復性を利用してより堅牢なサンプルを抽出する新しい取得関数を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:53:10Z)
• Few-Shot Lifelong Learning [35.05196800623617]
  Few-Shot Lifelong Learningにより、深層学習モデルが短距離/連続学習を実行できます。 提案手法では,モデルからごく少数のパラメータを選択して,モデル全体をトレーニングする代わりに,新しいクラスのセットをトレーニングする。 提案手法は, miniImageNet, CIFAR-100, CUB-200データセットにおいて, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-01T13:26:57Z)
• A linearized framework and a new benchmark for model selection for fine-tuning [112.20527122513668]
  異なるドメインで事前訓練されたモデルの集合からの微調整は、低データ体制におけるテストの精度を向上させる技術として現れている。 モデル選択のための2つの新しいベースライン - Label-Gradient と Label-Feature correlation を導入する。 我々のベンチマークでは、微調整されたイメージネットモデルと比較して、モデル動物園での精度向上が強調されている。
  論文  参考訳（メタデータ） (2021-01-29T21:57:15Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• What do we expect from Multiple-choice QA Systems? [70.86513724662302]
  複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。 このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
  論文  参考訳（メタデータ） (2020-11-20T21:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。