論文の概要: PACTran: PAC-Bayesian Metrics for Estimating the Transferability of
Pretrained Models to Classification Tasks
- arxiv url: http://arxiv.org/abs/2203.05126v1
- Date: Thu, 10 Mar 2022 02:54:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-12 01:52:52.481914
- Title: PACTran: PAC-Bayesian Metrics for Estimating the Transferability of
Pretrained Models to Classification Tasks
- Title（参考訳）: PACTran: PAC-Bayesian Metrics for Estimation the Transferability of Pretrained Models to Classification Tasks
- Authors: Nan Ding, Xi Chen, Tomer Levinboim, Beer Changpinyo, Radu Soricut
- Abstract要約: PACTranは、事前訓練されたモデル選択と転送可能性測定のための理論的に基礎付けられたメトリクスのファミリーである。
この結果から, PACTran は既存の選択法と比較して, より一貫性があり, 有効であることが示された。
- 参考スコア（独自算出の注目度）: 22.41824478940036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing abundance of pretrained models in recent years, the
problem of selecting the best pretrained checkpoint for a particular downstream
classification task has been gaining increased attention. Although several
methods have recently been proposed to tackle the selection problem (e.g. LEEP,
H-score), these methods resort to applying heuristics that are not well
motivated by learning theory. In this paper we present PACTran, a theoretically
grounded family of metrics for pretrained model selection and transferability
measurement. We first show how to derive PACTran metrics from the optimal
PAC-Bayesian bound under the transfer learning setting. We then empirically
evaluate three metric instantiations of PACTran on a number of vision tasks
(VTAB) as well as a language-and-vision (OKVQA) task. An analysis of the
results shows PACTran is a more consistent and effective transferability
measure compared to existing selection methods.
- Abstract（参考訳）: 近年の事前学習モデルの増加に伴い、特定の下流分類タスクにおいて最適な事前学習済みチェックポイントを選択する問題に注目が集まっている。
選択問題(leep、h-scoreなど)に取り組むためのいくつかの手法が最近提案されているが、これらの手法は学習理論に動機づけられていないヒューリスティックを適用している。
本稿では,事前訓練されたモデル選択と伝達可能性測定のための理論的根拠を持つ指標群であるPACTranを提案する。
まず、転送学習環境下での最適PAC-Bayesian境界からPACTranメトリクスを導出する方法を示す。
次に,複数の視覚タスク(VTAB)とOKVQA(Language-and-vision)タスク(OKVQA)に基づいて,PACTranの3つのメートル法インスタンスを評価する。
この結果から, PACTran は既存の選択法と比較して, より一貫性があり, 有効であることが示された。
関連論文リスト
- A Bayesian Approach to Data Point Selection [24.98069363998565]
データポイントの選択(DPS)は、ディープラーニングにおいて重要なトピックになりつつある。
既存のDPSへのアプローチは、主にバイレベル最適化(BLO)の定式化に基づいている。
DPSに対する新しいベイズ的アプローチを提案する。
論文 参考訳（メタデータ） (2024-11-06T09:04:13Z) - Leveraging Estimated Transferability Over Human Intuition for Model Selection in Text Ranking [17.475727043819635]
モデル選択に対する効果的なアプローチとして、転送可能性推定(TE)が登場している。
本稿では,予測ランクを転送可能性として計算し,モデルのランク付け能力を明確に反映することを提案する。
得られた手法であるAdaptive Ranking Transferability (AiRTran)は、モデル間の微妙な差異を効果的に捉えることができる。
論文 参考訳（メタデータ） (2024-09-24T15:48:03Z) - The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳（メタデータ） (2024-04-01T16:00:01Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - DST-Det: Simple Dynamic Self-Training for Open-Vocabulary Object Detection [72.25697820290502]
この研究は、ゼロショット分類によって潜在的に新しいクラスを特定するための単純かつ効率的な戦略を導入する。
このアプローチは、アノテーションやデータセット、再学習を必要とせずに、新しいクラスのリコールと精度を高めるセルフトレーニング戦略として言及する。
LVIS、V3Det、COCOを含む3つのデータセットに対する実証的な評価は、ベースラインのパフォーマンスを大幅に改善したことを示している。
論文 参考訳（メタデータ） (2023-10-02T17:52:24Z) - Fast and Accurate Transferability Measurement by Evaluating Intra-class
Feature Variance [20.732095457775138]
転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。
本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
論文 参考訳（メタデータ） (2023-08-11T07:50:40Z) - On Pitfalls of Test-Time Adaptation [82.8392232222119]
TTA(Test-Time Adaptation)は、分散シフトの下で堅牢性に取り組むための有望なアプローチとして登場した。
TTABは,10の最先端アルゴリズム,多種多様な分散シフト,および2つの評価プロトコルを含むテスト時間適応ベンチマークである。
論文 参考訳（メタデータ） (2023-06-06T09:35:29Z) - A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。
このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
論文 参考訳（メタデータ） (2023-03-27T16:32:21Z) - Adaptive Distribution Calibration for Few-Shot Learning with
Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。
標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-10-09T02:32:57Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳（メタデータ） (2022-03-14T04:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。