論文の概要: LLMZip: Lossless Text Compression using Large Language Models
- arxiv url: http://arxiv.org/abs/2306.04050v2
- Date: Mon, 26 Jun 2023 18:03:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 16:38:43.773422
- Title: LLMZip: Lossless Text Compression using Large Language Models
- Title(参考訳): LLMZip:大規模言語モデルを用いたロスレステキスト圧縮
- Authors: Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep
Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai
- Abstract要約: 大規模言語モデルLLaMA-7Bを用いて,英語のエントロピー上界の新たな推定値を提案する。
自然副産物(英: natural byproduct)は、英語のテキストを無意味に圧縮するアルゴリズムである。
限られた実験から得られた予備結果は,本手法が最先端のテキスト圧縮方式より優れていることを示唆している。
- 参考スコア(独自算出の注目度): 11.192362715503135
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We provide new estimates of an asymptotic upper bound on the entropy of
English using the large language model LLaMA-7B as a predictor for the next
token given a window of past tokens. This estimate is significantly smaller
than currently available estimates in \cite{cover1978convergent},
\cite{lutati2023focus}. A natural byproduct is an algorithm for lossless
compression of English text which combines the prediction from the large
language model with a lossless compression scheme. Preliminary results from
limited experiments suggest that our scheme outperforms state-of-the-art text
compression schemes such as BSC, ZPAQ, and paq8h.
- Abstract(参考訳): 過去のトークンの窓を与えられた次のトークンの予測子として,大言語モデルllama-7bを用いて,英語のエントロピーに関する漸近的上限を新たに推定する。
この推定は、現在利用可能な cite{cover 1978convergent}, \cite{lutati2023focus} の見積もりよりもかなり小さい。
自然副産物は、大きな言語モデルからの予測と損失のない圧縮スキームを組み合わせた英語テキストのロスレス圧縮のためのアルゴリズムである。
BSCやZPAQ,paq8hといった最先端のテキスト圧縮方式よりも優れた結果が得られた。
関連論文リスト
- Unpacking Tokenization: Evaluating Text Compression and its Correlation
with Model Performance [36.7062356690043]
我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。
事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。
本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
論文 参考訳(メタデータ) (2024-03-10T17:02:53Z) - A Comprehensive Survey of Compression Algorithms for Language Models [10.21587168771851]
我々は,プルーニング,量子化,知識蒸留,低ランク近似,パラメータ共有,効率的なアーキテクチャ設計など,多様な圧縮アルゴリズムを調査し,要約する。
本稿では,圧縮アルゴリズムの各カテゴリの価値と,大規模言語モデルの出現により大きな影響を与える低コスト圧縮アルゴリズムの望ましい特性について論じる。
論文 参考訳(メタデータ) (2024-01-27T08:38:56Z) - LoSparse: Structured Compression of Large Language Models based on
Low-Rank and Sparse Approximation [63.04361850630079]
トランスフォーマーモデルは、様々な自然言語タスクにおいて顕著な成果を上げてきたが、しばしば禁止的に大きい。
低ランク行列とスパース行列の和で重み行列を近似する新しいモデル圧縮手法であるLoSparseを提案する。
既存の圧縮手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-06-20T01:16:11Z) - How To Train Your (Compressed) Large Language Model [29.29267133266529]
大規模言語モデルのためのタスク非依存圧縮パイプラインを開発する。
以上の結果から, 単純なレイヤワイドプルーニングに続き, 継続する言語モデルによる事前学習が, 既存の3つの最先端ベースラインを上回り, 性能が向上することが示された。
典型的なタスク特化圧縮とは異なり、最も圧縮されたモデルは、スクラッチから訓練された同様のサイズのモデルよりも大幅に性能が劣る。
論文 参考訳(メタデータ) (2023-05-24T08:18:35Z) - What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。
圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
論文 参考訳(メタデータ) (2022-05-22T13:54:44Z) - Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。
本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
論文 参考訳(メタデータ) (2022-03-21T02:11:35Z) - ProsoSpeech: Enhancing Prosody With Quantized Vector Pre-training in
Text-to-Speech [96.0009517132463]
音声の低周波帯域を定量化し、潜在韻律ベクトル(LPV)における韻律特性を圧縮する単語レベル韻律エンコーダを提案する。
次に、LPV予測器を導入し、与えられた単語列を予測し、高品質なTSデータセットで微調整する。
実験結果から, ProsoSpeechはベースライン法と比較してよりリッチな韻律で音声を生成することができることがわかった。
論文 参考訳(メタデータ) (2022-02-16T01:42:32Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳(メタデータ) (2021-12-08T13:02:53Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳(メタデータ) (2021-10-16T00:20:04Z) - Extreme Model Compression for On-device Natural Language Understanding [6.941609786551173]
我々は,大規模かつ商業的なNLUシステムにおいて,膨大な語彙サイズを持つ多種多様な意図に基づいて学習した結果を示す。
提案手法は, 予測性能が3.7%未満の圧縮速度で97.4%の圧縮性能を実現する。
論文 参考訳(メタデータ) (2020-11-30T21:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。