論文の概要: Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models

• arxiv url: http://arxiv.org/abs/2308.03449v2
• Date: Fri, 15 Mar 2024 04:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 07:32:15.645896
• Title: Accurate Retraining-free Pruning for Pretrained Encoder-based Language Models
• Title（参考訳）: 事前学習したエンコーダに基づく言語モデルに対する正確なリトレーニングフリープルーニング
• Authors: Seungcheol Park, Hojun Choi, U Kang,
• Abstract要約: K-pruneは、事前訓練されたエンコーダベースの言語モデルのための、正確な再学習不要な構造化プルーニングアルゴリズムである。 既存のリトレーニングフリープルーニングアルゴリズムと比較して、F1スコアは58.02%pに向上した。
• 参考スコア（独自算出の注目度）: 11.774574001020742
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Given a pretrained encoder-based language model, how can we accurately compress it without retraining? Retraining-free structured pruning algorithms are crucial in pretrained language model compression due to their significantly reduced pruning cost and capability to prune large language models. However, existing retraining-free algorithms encounter severe accuracy degradation, as they fail to handle pruning errors, especially at high compression rates. In this paper, we propose K-prune (Knowledge-preserving pruning), an accurate retraining-free structured pruning algorithm for pretrained encoder-based language models. K-prune focuses on preserving the useful knowledge of the pretrained model to minimize pruning errors through a carefully designed iterative pruning process composed of knowledge measurement, knowledge-preserving mask search, and knowledge-preserving weight-tuning. As a result, K-prune shows significant accuracy improvements up to 58.02%p higher F1 score compared to existing retraining-free pruning algorithms under a high compression rate of 80% on the SQuAD benchmark without any retraining process.
• Abstract（参考訳）: 事前訓練されたエンコーダベースの言語モデルを考えると、リトレーニングなしで正確に圧縮できるだろうか? リトレーニングフリーな構造化プルーニングアルゴリズムは、大規模言語モデルのプルーニング能力と大幅に削減されたプルーニングコストのために、事前訓練された言語モデルの圧縮に不可欠である。 しかし、既存のリトレーニングフリーアルゴリズムは、特に高い圧縮速度でプルーニングエラーを処理できないため、精度が著しく低下する。 本稿では,事前学習したエンコーダに基づく言語モデルに対して,K-prune (Knowledge-serving pruning) を提案する。 K-pruneは、知識測定、知識保存マスクサーチ、知識保存ウェイトチューニングからなる、慎重に設計された反復的プルーニングプロセスを通じて、プレトレーニングされたモデルの有用な知識を保存し、プルーニングエラーを最小限に抑えることに焦点を当てている。 その結果、K-pruneは、SQuADベンチマークの80%の圧縮率で既存の再トレーニングなしプルーニングアルゴリズムと比較して、最大58.02%pのF1スコアの大幅な精度向上を示した。

関連論文リスト

• Scaling Laws for Precision [73.24325358259753]
  トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。 推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。 トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T00:10:10Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Distilling the Knowledge in Data Pruning [4.720247265804016]
  刈り込みサブセットのトレーニングにおいて,知識蒸留(KD)を取り入れたデータ刈り込みの適用について検討する。 我々は、データセット、プルーニング方法、および全てのプルーニング率において、大幅な改善を示す。 興味をそそる観察を行ない、より低いプルーニング率を使用すると、より大きな教師が精度を低下させ、驚くべきことに、学生よりも少ない能力の教師を雇うことで、結果が改善する可能性がある。
  論文  参考訳（メタデータ） (2024-03-12T17:44:45Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• Paoding: Supervised Robustness-preserving Data-free Neural Network Pruning [3.6953655494795776]
  エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。 従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。 提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
  論文  参考訳（メタデータ） (2022-04-02T07:09:17Z)
• Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
  プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。 重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
  論文  参考訳（メタデータ） (2022-03-04T19:54:31Z)
• Accelerating Deep Learning with Dynamic Data Pruning [0.0]
  ディープラーニングは、最先端のネットワークをトレーニングするために強力なコンピューティングシステムへのアクセスを必要とするため、違法にコストがかかるようになった。 forget scoresやGraNd/EL2N scoresといった以前の作業では、完全なデータセット内の重要なサンプルを特定し、残りのサンプルを刈り取ることで、エポック毎のイテレーションを減らすことができる。 本稿では,強化学習手法に基づく2つのアルゴリズムを提案し,ランダムな動的手法よりも高い精度でサンプルを動的にプーンする。
  論文  参考訳（メタデータ） (2021-11-24T16:47:34Z)
• Prune Once for All: Sparse Pre-Trained Language Models [0.6063525456640462]
  そこで本研究では,ウェイトプルーニングとモデル蒸留を統合したスパース事前訓練型トランスフォーマー言語モデルの学習手法を提案する。 これらのスパース事前学習モデルは、疎度パターンを維持しながら、幅広いタスクの学習を伝達するために使用することができる。 圧縮されたスパース事前学習モデルが、その知識を、最小限の精度で5つの下流自然言語タスクに伝達する方法を示す。
  論文  参考訳（メタデータ） (2021-11-10T15:52:40Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Movement Pruning: Adaptive Sparsity by Fine-Tuning [115.91907953454034]
  マグニチュードプルーニング(Magnitude pruning)は、純粋教師付き学習におけるモデルサイズの削減に広く用いられている戦略である。 本稿では,単純な一階重み決定法であるムーブメント・プルーニング(Motion pruning)を提案する。 実験により、大きな事前訓練された言語モデルでプルーニングを行うと、運動プルーニングは高分離性体制において顕著な改善を示すことが示された。
  論文  参考訳（メタデータ） (2020-05-15T17:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。