論文の概要: PACTran: PAC-Bayesian Metrics for Estimating the Transferability of
Pretrained Models to Classification Tasks
- arxiv url: http://arxiv.org/abs/2203.05126v1
- Date: Thu, 10 Mar 2022 02:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-12 01:52:52.481914
- Title: PACTran: PAC-Bayesian Metrics for Estimating the Transferability of
Pretrained Models to Classification Tasks
- Title(参考訳): PACTran: PAC-Bayesian Metrics for Estimation the Transferability of Pretrained Models to Classification Tasks
- Authors: Nan Ding, Xi Chen, Tomer Levinboim, Beer Changpinyo, Radu Soricut
- Abstract要約: PACTranは、事前訓練されたモデル選択と転送可能性測定のための理論的に基礎付けられたメトリクスのファミリーである。
この結果から, PACTran は既存の選択法と比較して, より一貫性があり, 有効であることが示された。
- 参考スコア(独自算出の注目度): 22.41824478940036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing abundance of pretrained models in recent years, the
problem of selecting the best pretrained checkpoint for a particular downstream
classification task has been gaining increased attention. Although several
methods have recently been proposed to tackle the selection problem (e.g. LEEP,
H-score), these methods resort to applying heuristics that are not well
motivated by learning theory. In this paper we present PACTran, a theoretically
grounded family of metrics for pretrained model selection and transferability
measurement. We first show how to derive PACTran metrics from the optimal
PAC-Bayesian bound under the transfer learning setting. We then empirically
evaluate three metric instantiations of PACTran on a number of vision tasks
(VTAB) as well as a language-and-vision (OKVQA) task. An analysis of the
results shows PACTran is a more consistent and effective transferability
measure compared to existing selection methods.
- Abstract(参考訳): 近年の事前学習モデルの増加に伴い、特定の下流分類タスクにおいて最適な事前学習済みチェックポイントを選択する問題に注目が集まっている。
選択問題(leep、h-scoreなど)に取り組むためのいくつかの手法が最近提案されているが、これらの手法は学習理論に動機づけられていないヒューリスティックを適用している。
本稿では,事前訓練されたモデル選択と伝達可能性測定のための理論的根拠を持つ指標群であるPACTranを提案する。
まず、転送学習環境下での最適PAC-Bayesian境界からPACTranメトリクスを導出する方法を示す。
次に,複数の視覚タスク(VTAB)とOKVQA(Language-and-vision)タスク(OKVQA)に基づいて,PACTranの3つのメートル法インスタンスを評価する。
この結果から, PACTran は既存の選択法と比較して, より一貫性があり, 有効であることが示された。
関連論文リスト
- Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-03-14T14:23:23Z) - How to Determine the Most Powerful Pre-trained Language Model without
Brute Force Fine-tuning? An Empirical Survey [23.757740341834126]
その結果,H-Scoreは効率性や効率性に優れることがわかった。
また、トレーニングの詳細、テキスト生成への適用性、今後の方向性に光を当てる特定の指標との整合性といった難しさについても概説する。
論文 参考訳(メタデータ) (2023-12-08T01:17:28Z) - Irreducible Curriculum for Language Model Pretraining [46.895234111411426]
本稿では,言語モデル事前学習のためのカリキュラム学習アルゴリズムとして,既約カリキュラムを提案する。
RedPajama-1Bデータセットに関する我々の実験は、すべての7つの領域で検証の難易度が一貫した改善を示した。
論文 参考訳(メタデータ) (2023-10-23T22:41:33Z) - Fast and Accurate Transferability Measurement by Evaluating Intra-class
Feature Variance [20.732095457775138]
転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。
本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
論文 参考訳(メタデータ) (2023-08-11T07:50:40Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳(メタデータ) (2023-06-06T09:35:29Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-03-27T16:32:21Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Adaptive Distribution Calibration for Few-Shot Learning with
Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。
標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文 参考訳(メタデータ) (2022-10-09T02:32:57Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳(メタデータ) (2022-03-14T04:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。