論文の概要: One-Shot Pruning for Fast-adapting Pre-trained Models on Devices

• arxiv url: http://arxiv.org/abs/2307.04365v1
• Date: Mon, 10 Jul 2023 06:44:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 14:02:07.531245
• Title: One-Shot Pruning for Fast-adapting Pre-trained Models on Devices
• Title（参考訳）: デバイス上での高速適応型事前学習モデルのワンショットプルーニング
• Authors: Haiyan Zhao, Guodong Long
• Abstract要約: 大規模な事前訓練モデルが下流タスクの解決に成功している。 これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。 そこで本研究では,類似タスクの抽出知識を活用して,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 28.696989086706186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained models have been remarkably successful in resolving downstream tasks. Nonetheless, deploying these models on low-capability devices still requires an effective approach, such as model pruning. However, pruning the model from scratch can pose a practical challenge given the limited resources of each downstream task or device. To tackle this issue, we present a scalable one-shot pruning method that leverages pruned knowledge of similar tasks to extract a sub-network from the pre-trained model for a new task. Specifically, we create a score mask using the pruned models of similar tasks to identify task-specific filters/nodes in the pre-trained model for the new task. Based on this mask, we conduct a single round of pruning to extract a suitably-sized sub-network that can quickly adapt to the new task with only a few training iterations. Our experimental analysis demonstrates the effectiveness of the proposed method on the convolutional neural networks (CNNs) and vision transformers (ViT) with various datasets. The proposed method consistently outperforms popular pruning baseline methods in terms of accuracy and efficiency when dealing with diverse downstream tasks with different memory constraints.
• Abstract（参考訳）: 大規模な事前訓練モデルが下流タスクの解決に成功している。 それでも、これらのモデルを低機能デバイスにデプロイするには、モデルプルーニングのような効果的なアプローチが必要である。 しかしながら、下流のタスクやデバイスのリソースが限られているため、モデルをスクラッチから刈り取ることは実用的な課題となる。 そこで本研究では,類似タスクの知識を活用し,事前学習したモデルからサブネットワークを抽出する,スケーラブルなワンショットプルーニング手法を提案する。 具体的には,類似タスクのプルーニングモデルを用いてスコアマスクを作成し,新しいタスクの事前学習モデルにおけるタスク固有のフィルタ/ノードを識別する。 このマスクに基づいて、1ラウンドのプルーニングを行い、ほんの数回のトレーニングイテレーションで新しいタスクに迅速に適応できる、適度なサイズのサブネットワークを抽出する。 提案手法が様々なデータセットを用いた畳み込みニューラルネットワーク(CNN)と視覚変換器(ViT)に与える影響を実験的に検証した。 提案手法は, メモリ制約の異なる下流タスクを扱う場合, 精度, 効率の点で, 人気プルーニングベースライン法を一貫して上回っている。

関連論文リスト

• Exploring Transferability for Randomized Smoothing [37.60675615521106]
  本稿では,頑健なモデルを事前学習する手法を提案する。 クリーンな画像のみを微調整しても、驚くほど強力な認証精度が得られます。
  論文  参考訳（メタデータ） (2023-12-14T15:08:27Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained Convolutional Networks without Base Performance Loss [71.46601663956521]
  大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。 モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。 我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
  論文  参考訳（メタデータ） (2023-03-26T16:39:44Z)
• Voting from Nearest Tasks: Meta-Vote Pruning of Pre-trained Models for Downstream Tasks [55.431048995662714]
  我々は、類似タスクの刈り取られたモデルから、新しいタスクのための小さなモデルを作成する。 このモデルに関するいくつかの微調整ステップは、新しいタスクに対して有望なプルーンドモデルを生成するのに十分であることを示す。 我々は, 単純だが効果的な'Meta-Vote Pruning (MVP)' 手法を開発した。
  論文  参考訳（メタデータ） (2023-01-27T06:49:47Z)
• DiSparse: Disentangled Sparsification for Multitask Model Compression [92.84435347164435]
  DiSparseは、シンプルで効果的で、第一級のマルチタスクプルーニングとスパーストレーニングスキームである。 実験の結果,様々な設定や設定において優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-09T17:57:46Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Reconstruction Task Finds Universal Winning Tickets [24.52604301906691]
  十分に訓練されたニューラルネットワークは、コンピュータビジョンシステムにおいて有望な精度と効率のトレードオフを実現するのに有効である。 既存のプルーニングアルゴリズムのほとんどは、ソースドメインで定義された分類タスクのみに焦点を当てている。 本稿では,画像レベルのプレトレインタスクは,下流の様々なタスクに対して,モデルを刈り取ることができないことを示す。
  論文  参考訳（メタデータ） (2022-02-23T13:04:32Z)
• Mixed-Privacy Forgetting in Deep Networks [114.3840147070712]
  大規模画像分類タスクにおいてトレーニングされたネットワークの重みからトレーニングサンプルのサブセットの影響を除去できることを示す。 そこで本研究では,混合プライバシー設定における「忘れ」という新しい概念を導入する。 提案手法は,モデル精度のトレードオフを伴わずに忘れることができることを示す。
  論文  参考訳（メタデータ） (2020-12-24T19:34:56Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)
• Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
  我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。 プレトレーニング自体が多様性の優れた源であることが示される。 本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-14T07:59:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。