論文の概要: Gradient-Free Structured Pruning with Unlabeled Data

• arxiv url: http://arxiv.org/abs/2303.04185v2
• Date: Sat, 15 Jul 2023 20:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 22:58:57.560205
• Title: Gradient-Free Structured Pruning with Unlabeled Data
• Title（参考訳）: ラベルなしデータによるグラディエントフリー構造化プルーニング
• Authors: Azade Nova, Hanjun Dai, Dale Schuurmans
• Abstract要約: ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
• 参考スコア（独自算出の注目度）: 57.999191898036706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved great success in solving difficult tasks across many domains, but such success comes with a high computation cost, and inference latency. As developers and third parties customize these models, the need to provide efficient inference has increased. Many efforts have attempted to reduce inference cost through model compression techniques such as pruning and distillation. However, these techniques either require labeled data, or are time-consuming as they require the compressed model to be retrained to regain accuracy. In this paper, we propose a gradient-free structured pruning framework that uses only unlabeled data. An evaluation on the GLUE and SQuAD benchmarks using BERT$_{BASE}$ and DistilBERT illustrates the effectiveness of the proposed approach. By only using the weights of the pre-trained model and unlabeled data, in a matter of a few minutes on a single GPU, up to 40% of the original FLOP count can be reduced with less than a 4% accuracy loss across all tasks considered.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのドメインにわたる困難なタスクを解決する上で大きな成功を収めていますが、その成功には高い計算コストと推論遅延が伴います。 開発者やサードパーティがこれらのモデルをカスタマイズするにつれて、効率的な推論の必要性が高まっている。 多くの試みがプルーニングや蒸留といったモデル圧縮技術によって推論コストを削減しようとしている。 しかし、これらの技術はラベル付きデータを必要とするか、あるいは圧縮されたモデルが精度を取り戻すために再訓練される必要があるため、時間を要する。 本稿では,ラベルなしデータのみを使用する勾配フリー構造プルーニングフレームワークを提案する。 BERT$_{BASE}$とDistilBERTを用いたGLUEおよびSQuADベンチマークの評価は,提案手法の有効性を示す。 トレーニング済みのモデルとラベルなしデータの重みのみを使用することで、単一のGPU上で数分で、検討されたすべてのタスクで最大40%のFLOPカウントを4%未満の精度で削減することができる。

関連論文リスト

• Lightweight Dataset Pruning without Full Training via Example Difficulty and Prediction Uncertainty [9.749638953163391]
  早期のトレーニング段階から重要なサンプルを特定するために,難易度と不確実性を考慮した軽量度スコア(DUAL)を導入する。 また, 極端破砕時の破滅的精度低下に対処するために, ベータ分布を用いた比適応サンプリングを提案する。
  論文  参考訳（メタデータ） (2025-02-10T01:18:40Z)
• TT-MPD: Test Time Model Pruning and Distillation [3.675015670568961]
  プルーニングは、推論速度加速のための大きな事前訓練されたモデルを圧縮する有効な方法である。 以前のプルーニングアプローチは、プルーニングとその後の微調整の両方において、オリジナルのトレーニングデータセットへのアクセスに依存していた。 近似された微調整精度と潜在的な推論遅延の削減を考慮した効率的なプルーニング法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T02:05:13Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Uncertainty-aware Parameter-Efficient Self-training for Semi-supervised Language Understanding [38.11411155621616]
  我々は,主に半教師あり学習の手法として,自己学習について研究している。 我々は,新しい不確かさを意識した自己学習フレームワークであるUPETを紹介する。 UPETは性能と効率の面で大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-10-19T02:18:29Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• SSSE: Efficiently Erasing Samples from Trained Machine Learning Models [103.43466657962242]
  サンプル消去のための効率的かつ効率的なアルゴリズムSSSEを提案する。 ある場合、SSSEは、許可されたデータだけで新しいモデルをスクラッチからトレーニングする最適な、しかし実用的でない金の標準と同様に、サンプルをほぼ消去することができる。
  論文  参考訳（メタデータ） (2021-07-08T14:17:24Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。