論文の概要: SNT: Sharpness-Minimizing Network Transformation for Fast Compression-friendly Pretraining

• arxiv url: http://arxiv.org/abs/2305.04526v1
• Date: Mon, 8 May 2023 07:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 15:06:22.782848
• Title: SNT: Sharpness-Minimizing Network Transformation for Fast Compression-friendly Pretraining
• Title（参考訳）: snt: 高速圧縮フレンドリなプリトレーニングのためのシャープネス最小ネットワークトランスフォーメーション
• Authors: Jung Hwan Heo, Seyedarmin Azizi, Arash Fayyazi, Mahdi Nazemi, Massoud Pedram
• Abstract要約: プレトレーニング中に適用したシャープネス最小化ネットワークトランスフォーメーション(SNT)法を提案する。 SNTは、アーキテクチャ変換を用いて圧縮フレンドリーなネットワークを生成する最初の事前訓練手法である。 SNTは様々な圧縮タスクやネットワークバックボーンにまたがって一般化し、一貫した改善を提供する。
• 参考スコア（独自算出の注目度）: 3.206131271136422
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model compression has become the de-facto approach for optimizing the efficiency of vision models. Recently, the focus of most compression efforts has shifted to post-training scenarios due to the very high cost of large-scale pretraining. This has created the need to build compressible models from scratch, which can effectively be compressed after training. In this work, we present a sharpness-minimizing network transformation (SNT) method applied during pretraining that can create models with desirable compressibility and generalizability features. We compare our approach to a well-known sharpness-minimizing optimizer to validate its efficacy in creating a flat loss landscape. To the best of our knowledge, SNT is the first pretraining method that uses an architectural transformation to generate compression-friendly networks. We find that SNT generalizes across different compression tasks and network backbones, delivering consistent improvements over the ADAM baseline with up to 2% accuracy improvement on weight pruning and 5.4% accuracy improvement on quantization. Code to reproduce our results will be made publicly available.
• Abstract（参考訳）: モデル圧縮は視覚モデルの効率を最適化するためのデファクトアプローチとなっている。 近年,大規模プレトレーニングのコストが高いため,ほとんどの圧縮作業の焦点は後トレーニングのシナリオに移行している。 これにより、スクラッチから圧縮可能なモデルを構築する必要が生じ、トレーニング後に効果的に圧縮できる。 本研究では、プレトレーニング中に適用されたシャープネス最小化ネットワーク変換(SNT)手法を提案する。 我々は,この手法をよく知られたシャープネス最小化オプティマイザと比較し,その有効性を検証する。 我々の知る限り、SNTはアーキテクチャ変換を用いて圧縮フレンドリーなネットワークを生成する最初の事前学習手法である。 SNTは様々な圧縮タスクやネットワークバックボーンにまたがって一般化され,ADAMベースラインに対して一貫した改善が得られ,重量刈りの精度が最大2%向上し,量子化の精度が5.4%向上した。 私たちの結果を再現するコードは公開されます。

関連論文リスト

• Token Compensator: Altering Inference Cost of Vision Transformer without Re-Tuning [63.43972993473501]
  視覚変換器(ViT)の訓練と推論を高速化するトークン圧縮 しかし、下流タスクに適用した場合、圧縮度はトレーニングと推論の段階で不一致となる。 本稿では,2段階間の圧縮度を分離するモデル演算フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T10:36:43Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Just CHOP: Embarrassingly Simple LLM Compression [27.64461490974072]
  LLM(Large Language Model)は、非並列の少数およびゼロショット推論機能を実現するが、高い計算フットプリントを実現する。 拡張言語モデル事前学習と組み合わせた単純なレイヤプルーニングは、7Bスケールでモデルの構造的および半構造化された圧縮に対して最先端の結果をもたらすことを示す。 また,より小さなBERT型モデルのタスク非依存圧縮において非常に効果的であった蒸留が,我々の単純な刈り取り技術に対して非効率になることを示す。
  論文  参考訳（メタデータ） (2023-05-24T08:18:35Z)
• Optimal Brain Compression: A Framework for Accurate Post-Training Quantization and Pruning [29.284147465251685]
  重み付けと量子化の両方を統一した環境でカバーする新しい圧縮フレームワークを提案する。 既存のポストトレーニング手法の圧縮精度トレードオフにより, 大幅な改善が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-24T14:33:35Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Practical Network Acceleration with Tiny Sets [38.742142493108744]
  ネットワーク圧縮は、ディープニューラルネットワークの推論を加速するのに有効である。 しかし、精度の低下から回復するためには、トレーニングデータをすべて微調整する必要があることが多い。 そこで本研究では, PRACTISEという手法を用いて, トレーニング画像の小さなセットでネットワークを高速化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T05:04:38Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• You Only Compress Once: Towards Effective and Elastic BERT Compression via Exploit-Explore Stochastic Nature Gradient [88.58536093633167]
  既存のモデル圧縮アプローチでは、さまざまなハードウェアデプロイメントに対応するために、さまざまな制約にまたがる再圧縮や微調整が必要となる。 圧縮を一度行い、至るところに展開するための新しいアプローチであるYOCO-BERTを提案する。 最先端のアルゴリズムと比較すると、YOCO-BERTはよりコンパクトなモデルを提供するが、GLUEベンチマークの平均精度は2.1%-4.5%向上している。
  論文  参考訳（メタデータ） (2021-06-04T12:17:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。