論文の概要: TransTailor: Pruning the Pre-trained Model for Improved Transfer
Learning
- arxiv url: http://arxiv.org/abs/2103.01542v1
- Date: Tue, 2 Mar 2021 07:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-03 17:10:34.268765
- Title: TransTailor: Pruning the Pre-trained Model for Improved Transfer
Learning
- Title（参考訳）: TransTailor: トランスファー学習を改善するための事前トレーニングモデル
- Authors: Bingyan Liu, Yifeng Cai, Yao Guo, Xiangqun Chen
- Abstract要約: そこで本研究では,事前学習モデルの構築を目標としたtranstailorを提案する。
目標と認識する重みの重要度に応じて、事前訓練されたモデルのプーンと微調整を行う。
ファイナルパフォーマンスのために微調整時に適用可能な,より適切なサブ構造を転送する。
- 参考スコア（独自算出の注目度）: 5.9292619981667976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing of pre-trained models has significantly facilitated the
performance on limited data tasks with transfer learning. However, progress on
transfer learning mainly focuses on optimizing the weights of pre-trained
models, which ignores the structure mismatch between the model and the target
task. This paper aims to improve the transfer performance from another angle -
in addition to tuning the weights, we tune the structure of pre-trained models,
in order to better match the target task. To this end, we propose TransTailor,
targeting at pruning the pre-trained model for improved transfer learning.
Different from traditional pruning pipelines, we prune and fine-tune the
pre-trained model according to the target-aware weight importance, generating
an optimal sub-model tailored for a specific target task. In this way, we
transfer a more suitable sub-structure that can be applied during fine-tuning
to benefit the final performance. Extensive experiments on multiple pre-trained
models and datasets demonstrate that TransTailor outperforms the traditional
pruning methods and achieves competitive or even better performance than other
state-of-the-art transfer learning methods while using a smaller model.
Notably, on the Stanford Dogs dataset, TransTailor can achieve 2.7% accuracy
improvement over other transfer methods with 20% fewer FLOPs.
- Abstract（参考訳）: 事前学習モデルの増加により、転送学習による限られたデータタスクのパフォーマンスが大幅に向上しました。
しかし、転送学習の進歩は主に、モデルと対象タスクの間の構造ミスマッチを無視した事前学習モデルの重み付けを最適化することに焦点を当てている。
本稿では,重みの調整に加えて,目標課題に合うように事前訓練されたモデルの構造を調整し,他の角度からの転送性能を向上させることを目的とする。
そこで本研究では,事前学習モデルの構築を目標としたtranstailorを提案する。
従来のプランニングパイプラインと異なり、トレーニング済みモデルを目標重量の重要度に応じて微調整し、特定のターゲットタスクに合わせて最適なサブモデルを生成します。
このようにして、ファイナルパフォーマンスのために微調整時に適用できるより適切なサブ構造を転送する。
複数の事前訓練されたモデルとデータセットに関する広範な実験は、TransTailorが従来の耕作方法よりも優れていることを実証し、より小さなモデルを使用して、他の最先端の転送学習方法よりも競争力またはさらに優れたパフォーマンスを実現します。
特にstanford dogsデータセットでは、transtailorは他の転送方法よりも2.7%精度が向上し、フラップは20%減少した。
関連論文リスト
- Forecast-PEFT: Parameter-Efficient Fine-Tuning for Pre-trained Motion Forecasting Models [68.23649978697027]
Forecast-PEFTは、モデルのパラメータの大部分を凍結し、新しく導入されたプロンプトとアダプタの調整に集中する微調整戦略である。
実験の結果,Forecast-PEFTは動作予測タスクにおいて従来のフルチューニング手法よりも優れていた。
Forecast-FTは予測性能をさらに改善し、従来のベースライン法よりも最大9.6%向上した。
論文 参考訳（メタデータ） (2024-07-28T19:18:59Z) - Transferring Knowledge from Large Foundation Models to Small Downstream Models [40.38657103236168]
事前訓練されたモデル間で知識を伝達するための適応的特徴伝達(AFT)を導入する。
AFTは純粋に機能で動作し、より小さな下流モデルから事前訓練されたモデルの選択を分離する。
AFTは、同様の計算コストの代替よりも、ダウンストリーム性能が大幅に向上する。
論文 参考訳（メタデータ） (2024-06-11T15:06:15Z) - Efficient Transferability Assessment for Selection of Pre-trained Detectors [63.21514888618542]
本稿では,事前学習対象検出器の効率的な伝達性評価について検討する。
我々は、事前訓練された検出器の大規模で多様な動物園を含む検出器転送性ベンチマークを構築した。
実験により,本手法は伝達性の評価において,他の最先端手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2024-03-14T14:23:23Z) - Fast and Accurate Transferability Measurement by Evaluating Intra-class
Feature Variance [20.732095457775138]
転送可能性の測定は、ソースタスクからターゲットタスクに学習したトレーニング済みモデルがどのように転送可能かを定量化する。
本稿では,トランスファビリティを計測する高速かつ正確なアルゴリズムであるTMI(TRANSFERABILITY Measurement with Intra-CLASS FEATURE VARIANCE)を提案する。
論文 参考訳（メタデータ） (2023-08-11T07:50:40Z) - Towards Compute-Optimal Transfer Learning [82.88829463290041]
我々は、事前訓練されたモデルのゼロショット構造化プルーニングにより、性能を最小限に抑えて計算効率を向上させることができると主張している。
その結果,事前訓練されたモデルの畳み込み畳み込みフィルタは,低計算条件下で20%以上の性能向上をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2023-04-25T21:49:09Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Knowledge Distillation as Efficient Pre-training: Faster Convergence,
Higher Data-efficiency, and Better Transferability [53.27240222619834]
効率的な事前学習としての知識蒸留は、学習した特徴表現を学習済みモデルから将来の下流タスクのための新しい学生モデルに効率的に転送することを目的としている。
提案手法は,3つの下流タスクにおける教師付き事前学習タスクと,10倍少ないデータと5倍少ない事前学習時間を必要とする9つの下流データセットとを比較検討する。
論文 参考訳（メタデータ） (2022-03-10T06:23:41Z) - CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。
本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
論文 参考訳（メタデータ） (2021-06-12T02:29:55Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。
私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
論文 参考訳（メタデータ） (2020-07-16T17:42:40Z) - Renofeation: A Simple Transfer Learning Method for Improved Adversarial
Robustness [26.73248223512572]
最近の敵攻撃は、エンド・ツー・エンドの微調整を通じてトランスファーラーニングで訓練されたモデルを欺くことができる。
これにより、多くの産業アプリケーションに対するセキュリティ上の懸念が高まる。
本稿では,新しい伝達学習法であるノイズ特性蒸留を提案する。
論文 参考訳（メタデータ） (2020-02-07T20:07:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。