Fugu-MT 論文翻訳(概要): Aggressive Post-Training Compression on Extremely Large Language Models

論文の概要: Aggressive Post-Training Compression on Extremely Large Language Models

arxiv url: http://arxiv.org/abs/2409.20094v1
Date: Mon, 30 Sep 2024 08:47:17 GMT
ステータス: 処理完了
システム内更新日: 2024-10-02 18:56:57.482605
Title: Aggressive Post-Training Compression on Extremely Large Language Models
Title（参考訳）: 極大言語モデルにおける攻撃的後訓練圧縮
Authors: Zining Zhang, Yao Chen, Bingsheng He, Zhenjie Zhang,
Abstract要約: モデルのサイズを減らすためには、攻撃的な後トレーニングモデル圧縮が必要である。本稿では,0.7領域以上で8ビット未満の量子化を実現する新しいネットワーク切断技術を提案する。
参考スコア（独自算出の注目度）: 32.589344168888914
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The increasing size and complexity of Large Language Models (LLMs) pose challenges for their deployment on personal computers and mobile devices. Aggressive post-training model compression is necessary to reduce the models' size, but it often results in significant accuracy loss. To address this challenge, we propose a novel network pruning technology that utilizes over 0.7 sparsity and less than 8 bits of quantization. Our approach enables the compression of prevailing LLMs within a couple of hours while maintaining a relatively small accuracy loss. In experimental evaluations, our method demonstrates effectiveness and potential for practical deployment. By making LLMs available on domestic devices, our work can facilitate a new era of natural language processing applications with wide-ranging impacts.
Abstract（参考訳）: LLM(Large Language Models)のサイズと複雑さの増大は、パーソナルコンピュータやモバイルデバイスへの展開に困難をもたらす。モデルのサイズを減らすためには、攻撃的なポストトレーニングモデル圧縮が必要であるが、しばしばかなりの精度の損失をもたらす。この課題に対処するために,0.7領域以上で8ビット未満の量子化を実現する新しいネットワーク切断技術を提案する。提案手法により,LLMの圧縮を2時間以内に行うことができ,精度の低下は比較的少ない。実験により,本手法の有効性と実用的展開の可能性を示す。 LLMを国内機器で利用可能にすることで、我々の研究は幅広い影響を与える自然言語処理アプリケーションの新しい時代を後押しすることができる。

関連論文リスト

Contemporary Model Compression on Large Language Models Inference [7.307436175842646]
大規模言語モデル(LLM)は、様々なタスクで最先端の結果を達成することによって、自然言語処理に革命をもたらした。 LLM推論の計算要求は、高いメモリ消費と遅い処理速度を含み、現実世界のアプリケーションにとって大きな課題となっている。本研究では, LLMのサイズと計算量を削減することにより, これらの課題に対処するモデル圧縮技術について検討する。
論文参考訳（メタデータ） (2024-09-03T15:35:01Z)
LLMC: Benchmarking Large Language Model Quantization with a Versatile Compression Toolkit [55.73370804397226]
鍵圧縮技術である量子化は、大きな言語モデルを圧縮し、加速することにより、これらの要求を効果的に軽減することができる。本稿では,プラグアンドプレイ圧縮ツールキットであるLLMCについて,量子化の影響を公平かつ体系的に検討する。この汎用ツールキットによって、我々のベンチマークはキャリブレーションデータ、アルゴリズム(3つの戦略)、データフォーマットの3つの重要な側面をカバーしています。
論文参考訳（メタデータ） (2024-05-09T11:49:05Z)
What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models [2.2871867623460216]
本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。
論文参考訳（メタデータ） (2024-04-06T23:52:53Z)
MoPE-CLIP: Structured Pruning for Efficient Vision-Language Models with Module-wise Pruning Error Metric [57.3330687266266]
より小さな事前学習モデルを用いてCLIPモデルに等級に基づくプルーニングを適用すると、柔軟性が低下し、性能が低下することがわかった。 The Module-wise Pruning Error (MoPE) metric, we introduced a unified pruning framework for both pre-training and task-specific fine-tuning compression stage。
論文参考訳（メタデータ） (2024-03-12T17:24:26Z)
CompactifAI: Extreme Compression of Large Language Models using Quantum-Inspired Tensor Networks [1.5199992713356987]
本稿では、量子インスパイアされたネットワークを用いた革新的な圧縮手法であるCompactifAIを紹介する。我々の手法は万能であり、他の圧縮技術で実装することができる。ベンチマークとして、CompactifAIと量子化の組み合わせにより、LlaMA 7Bの93%のメモリサイズを削減できることを示す。
論文参考訳（メタデータ） (2024-01-25T11:45:21Z)
Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
論文参考訳（メタデータ） (2023-10-24T07:58:20Z)
Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。 MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文参考訳（メタデータ） (2023-09-13T04:06:47Z)
Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
論文参考訳（メタデータ） (2023-05-17T20:45:13Z)
What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
論文参考訳（メタデータ） (2022-05-22T13:54:44Z)
Self-Supervised GAN Compression [32.21713098893454]
従来の手法では,標準モデル圧縮手法であるウェイトプルーニングがGANに適用できないことを示す。次に、訓練された判別器を用いて圧縮発電機の訓練を監督する自己教師圧縮手法を開発する。我々は,このフレームワークが高い疎度に対して魅力的な性能を示し,新しいタスクやモデルに容易に適用できることを示し,異なるプルーニング粒度間の有意義な比較を可能にする。
論文参考訳（メタデータ） (2020-07-03T04:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。