論文の概要: What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2404.04759v1
• Date: Sat, 6 Apr 2024 23:52:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 19:40:41.309025
• Title: What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models
• Title（参考訳）: 小さすぎるとどうなるか? 圧縮が小さめの事前学習言語モデルに与える影響を探る
• Authors: Busayo Awobade, Mardiyyah Oduwole, Steven Kolawole,
• Abstract要約: 本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。 実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。
• 参考スコア（独自算出の注目度）: 2.2871867623460216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compression techniques have been crucial in advancing machine learning by enabling efficient training and deployment of large-scale language models. However, these techniques have received limited attention in the context of low-resource language models, which are trained on even smaller amounts of data and under computational constraints, a scenario known as the "low-resource double-bind." This paper investigates the effectiveness of pruning, knowledge distillation, and quantization on an exclusively low-resourced, small-data language model, AfriBERTa. Through a battery of experiments, we assess the effects of compression on performance across several metrics beyond accuracy. Our study provides evidence that compression techniques significantly improve the efficiency and effectiveness of small-data language models, confirming that the prevailing beliefs regarding the effects of compression on large, heavily parameterized models hold true for less-parameterized, small-data models.
• Abstract（参考訳）: 圧縮技術は、大規模言語モデルの効率的なトレーニングと展開を可能にすることによって、機械学習の進歩に不可欠である。 しかし、これらの手法は、より少ない量のデータと計算制約の下で訓練される低リソース言語モデルという文脈において、限られた関心を集めている。 本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。 実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。 本研究は, 圧縮技術が小型データモデルの効率と有効性を大幅に向上することを示すとともに, 大規模パラメータ化モデルに対する圧縮の効果に関する一般的な信念が低パラメータ化モデルに対して真であることを示すものである。

関連論文リスト

• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Intriguing Properties of Compression on Multilingual Models [17.06142742945346]
  微調整中における多言語事前学習言語モデルの分散化の影響を特徴づける枠組みを提案する。 このフレームワークを40言語にわたってmBERTという名前のエンティティ認識モデルに適用すると、圧縮はいくつかの興味深い、以前は未知の一般化特性を示す。
  論文  参考訳（メタデータ） (2022-11-04T20:28:01Z)
• Too Brittle To Touch: Comparing the Stability of Quantization and Distillation Towards Developing Lightweight Low-Resource MT Models [12.670354498961492]
  最先端の機械翻訳モデルは、しばしば低リソース言語のデータに適応することができる。 知識蒸留(Knowledge Distillation)は、競争力のある軽量モデルを開発するための一般的な技術である。
  論文  参考訳（メタデータ） (2022-10-27T05:30:13Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
  平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。 圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
  論文  参考訳（メタデータ） (2022-05-22T13:54:44Z)
• What do Compressed Large Language Models Forget? Robustness Challenges in Model Compression [68.82486784654817]
  本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。 本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。 サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
  論文  参考訳（メタデータ） (2021-10-16T00:20:04Z)
• Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
  圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。 いくつかの汚職は圧縮法に大きく影響している。 データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
  論文  参考訳（メタデータ） (2021-02-10T15:52:11Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。