Fugu-MT 論文翻訳(概要): Evaluating Zero-Shot Long-Context LLM Compression

論文の概要: Evaluating Zero-Shot Long-Context LLM Compression

arxiv url: http://arxiv.org/abs/2406.06773v1
Date: Mon, 10 Jun 2024 20:19:55 GMT
ステータス: 処理完了
システム内更新日: 2024-06-12 20:15:44.140416
Title: Evaluating Zero-Shot Long-Context LLM Compression
Title（参考訳）: ゼロショット長コンテキストLLM圧縮の評価
Authors: Chenyu Wang, Yihan Wang,
Abstract要約: 本稿では,長期文脈下での大規模言語モデル(LLM)に対するゼロショット圧縮手法の有効性について検討する。計算資源が限られているため,LLaMA-2-7B-32Kでのみ実験を行った。
参考スコア（独自算出の注目度）: 20.244242574168375
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study evaluates the effectiveness of zero-shot compression techniques on large language models (LLMs) under long-context. We identify the tendency for computational errors to increase under long-context when employing certain compression methods. We propose a hypothesis to explain the varied behavior of different LLM compression techniques and explore remedies to mitigate the performance decline observed in some techniques under long-context. This is a course report for COS 598D Machine Learning and Systems by Prof. Kai Li at Princeton University. Due to limited computational resources, our experiments were conducted only on LLaMA-2-7B-32K.
Abstract（参考訳）: 本研究では,長期文脈下での大規模言語モデル(LLM)に対するゼロショット圧縮手法の有効性を評価する。特定の圧縮手法を用いる場合,長いコンテキストで計算誤差が増大する傾向を同定する。本研究では,LLM圧縮手法の様々な挙動を説明する仮説を提案し,長期環境下で観察される性能低下を緩和するための改善策を提案する。 This report for COS 598D Machine Learning and Systems by Prof. Kai Li at Princeton University。計算資源が限られているため,LLaMA-2-7B-32Kでのみ実験を行った。

関連論文リスト

In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文参考訳（メタデータ） (2024-06-19T15:14:55Z)
Feature-based Low-Rank Compression of Large Language Models via Bayesian Optimization [40.15915011575071]
低ランク圧縮は、大規模言語モデルにおける非必須パラメータを減らすための有望な手法である。大型モデルの低ランク特性に関する実証的研究を行う。大規模言語モデルに適した低ランク圧縮手法を提案する。
論文参考訳（メタデータ） (2024-05-17T08:27:12Z)
What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models [2.2871867623460216]
本稿では, AfriBERTa を用いた低リソース小データ言語モデルにおいて, プルーニング, 知識蒸留, 量子化の有効性について検討する。実験のバッテリを用いて,圧縮が精度を超えるいくつかの指標のパフォーマンスに与える影響を評価する。
論文参考訳（メタデータ） (2024-04-06T23:52:53Z)
Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
論文参考訳（メタデータ） (2024-02-26T05:51:47Z)
Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
論文参考訳（メタデータ） (2023-10-02T17:42:37Z)
Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
論文参考訳（メタデータ） (2023-10-02T03:12:06Z)
Approximating Human-Like Few-shot Learning with GPT-based Compression [55.699707962017975]
我々は、推論中にデータ圧縮を可能にする、人間のような学習能力を備えた生成事前学習モデルを提案する。本稿では,GPT(Generative Pre-trained Transformer)を用いてコルモゴロフ複雑性を近似する手法を提案する。
論文参考訳（メタデータ） (2023-08-14T05:22:33Z)
Just CHOP: Embarrassingly Simple LLM Compression [27.64461490974072]
LLM(Large Language Model)は、非並列の少数およびゼロショット推論機能を実現するが、高い計算フットプリントを実現する。拡張言語モデル事前学習と組み合わせた単純なレイヤプルーニングは、7Bスケールでモデルの構造的および半構造化された圧縮に対して最先端の結果をもたらすことを示す。また,より小さなBERT型モデルのタスク非依存圧縮において非常に効果的であった蒸留が,我々の単純な刈り取り技術に対して非効率になることを示す。
論文参考訳（メタデータ） (2023-05-24T08:18:35Z)
Extreme Model Compression for On-device Natural Language Understanding [6.941609786551173]
我々は,大規模かつ商業的なNLUシステムにおいて,膨大な語彙サイズを持つ多種多様な意図に基づいて学習した結果を示す。提案手法は, 予測性能が3.7%未満の圧縮速度で97.4%の圧縮性能を実現する。
論文参考訳（メタデータ） (2020-11-30T21:47:48Z)
Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文参考訳（メタデータ） (2020-05-08T05:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。