論文の概要: Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks

• arxiv url: http://arxiv.org/abs/2301.11560v1
• Date: Fri, 27 Jan 2023 06:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 16:12:43.336801
• Title: Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks
• Title（参考訳）: 最寄りタスクからの投票:下流タスクのための事前訓練されたモデルのメタホートプルーニング
• Authors: Haiyan Zhao, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang
• Abstract要約: 我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
• 参考スコア（独自算出の注目度）: 55.431048995662714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a few large-scale pre-trained models become the major choices of various applications, new challenges arise for model pruning, e.g., can we avoid pruning the same model from scratch for every downstream task? How to reuse the pruning results of previous tasks to accelerate the pruning for a new task? To address these challenges, we create a small model for a new task from the pruned models of similar tasks. We show that a few fine-tuning steps on this model suffice to produce a promising pruned-model for the new task. We study this ''meta-pruning'' from nearest tasks on two major classes of pre-trained models, convolutional neural network (CNN) and vision transformer (ViT), under a limited budget of pruning iterations. Our study begins by investigating the overlap of pruned models for similar tasks and how the overlap changes over different layers and blocks. Inspired by these discoveries, we develop a simple but effective ''Meta-Vote Pruning (MVP)'' method that significantly reduces the pruning iterations for a new task by initializing a sub-network from the pruned models of its nearest tasks. In experiments, we demonstrate MVP's advantages in accuracy, efficiency, and generalization through extensive empirical studies and comparisons with popular pruning methods over several datasets.
• Abstract（参考訳）: いくつかの大規模事前訓練モデルが様々なアプリケーションの主要な選択肢となり、例えば、ダウンストリームタスク毎に同じモデルをスクラッチから切り離すのを避けるために、モデルプルーニングに新たな課題が生じるのか? 新しいタスクのプルーニングを加速するために、以前のタスクのプルーニング結果を再利用する方法? これらの課題に対処するために、我々は同様のタスクのプランニングされたモデルから新しいタスクのための小さなモデルを作成します。 このモデルの微調整ステップは、新しいタスクに有望なprunedモデルを生成するのに十分であることを示します。 予備学習モデルである畳み込みニューラルネットワーク(convolutional neural network:cnn)と視覚トランスフォーマ(vision transformer:vit)の2つの主要クラスにおける最寄りのタスクから,この'メタ刈り込み'を限られた予算で検討した。 本研究は,類似したタスクに対するプルーニングモデルの重なりと,異なるレイヤやブロックの重なりがどう変化するかを調べることから開始する。 これらの発見に触発されて,最寄りのタスクのプルーニングモデルからサブネットワークを初期化することにより,新たなタスクのプルーニングイテレーションを大幅に削減する,単純かつ効果的な'メタボレートプルーニング(mvp)'手法を開発した。 実験では, MVPの精度, 効率, 一般化における利点を, 広範囲にわたる実証研究と, 一般的な刈り取り法との比較によって実証した。

関連論文リスト

• MOWA: Multiple-in-One Image Warping Model [65.73060159073644]
  本研究で提案するマルチ・イン・ワン・イメージ・ワープ・モデル(MOWA)について述べる。 領域レベルと画素レベルでの動作推定を両立させることにより,マルチタスク学習の難しさを軽減する。 私たちの知る限り、これは1つのモデルで複数の実用的なワープタスクを解決する最初の作業です。
  論文  参考訳（メタデータ） (2024-04-16T16:50:35Z)
• One-Shot Pruning for Fast-adapting Pre-trained Models on Devices [28.696989086706186]
  大規模な事前訓練モデルが下流タスクの解決に成功している。 これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。 そこで本研究では,類似タスクの抽出知識を活用して,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-10T06:44:47Z)
• Task-Robust Pre-Training for Worst-Case Downstream Adaptation [62.05108162160981]
  プレトレーニングは下流のタスクに移行することで大きな成功を収めた。 本稿では,下流タスクに対する一様性能を保証するモデルについて,事前学習について考察する。
  論文  参考訳（メタデータ） (2023-06-21T07:43:23Z)
• Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
  マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。 マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
  論文  参考訳（メタデータ） (2023-04-13T22:15:47Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Pruning Pretrained Encoders with a Multitask Objective [12.062758391661847]
  シングルタスクモデルのベストアンサンブルに対して,マルチタスクの目的と単一モデルのプルーニングを比較した。 さらなる分析により、マルチタスクの目的をプルーニング中に使用することは、低リソースタスクのモデルサイズの削減に有効な方法であることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T17:57:33Z)
• Few Is Enough: Task-Augmented Active Meta-Learning for Brain Cell Classification [8.998976678920236]
  本稿では,Deep Neural Networks を新しいタスクに効率的に適応する tAsk-auGmented actIve meta-LEarning (AGILE) 手法を提案する。 AGILEはメタ学習アルゴリズムと,初期適応モデルを生成するための新しいタスク拡張手法を組み合わせる。 提案するタスク強化メタラーニングフレームワークは,1段階の段階を経て,新たな細胞タイプを分類することができることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:03:12Z)
• On the Effect of Dropping Layers of Pre-trained Transformer Models [35.25025837133909]
  我々は、事前訓練されたモデルにレイヤをドロップする戦略を探求し、下流のGLUEタスクに対するプルーニングの効果を観察する。 BERT、RoBERTa、XLNetのモデルを40%まで、元のパフォーマンスの98%を維持できたのです。 実験の結果,下層が下流のタスク性能を維持する上で最も重要であること,(ii)パラフレーズ検出や文類似性などのタスクは,レイヤの降下に対してより堅牢であること,(iii)異なる目的関数を用いてトレーニングされたモデルが異なる学習パターンを示し,レイヤが低下すること,などの興味深い観察結果が得られた。
  論文  参考訳（メタデータ） (2020-04-08T07:09:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。