Fugu-MT 論文翻訳(概要): LLMZip: Lossless Text Compression using Large Language Models

論文の概要: LLMZip: Lossless Text Compression using Large Language Models

arxiv url: http://arxiv.org/abs/2306.04050v1
Date: Tue, 6 Jun 2023 22:42:00 GMT
ステータス: 処理完了
システム内更新日: 2023-06-08 16:46:36.296822
Title: LLMZip: Lossless Text Compression using Large Language Models
Title（参考訳）: LLMZip:大規模言語モデルを用いたロスレステキスト圧縮
Authors: Chandra Shekhara Kaushik Valmeekam, Krishna Narayanan, Dileep Kalathil, Jean-Francois Chamberland, Srinivas Shakkottai
Abstract要約: 大規模言語モデルLLaMA-7Bを用いて,英語のエントロピー上界の新たな推定値を提案する。自然副産物(英: natural byproduct)は、英語のテキストを無意味に圧縮するアルゴリズムである。限られた実験から得られた予備結果は,本手法が最先端のテキスト圧縮方式より優れていることを示唆している。
参考スコア（独自算出の注目度）: 11.192362715503135
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We provide new estimates of an asymptotic upper bound on the entropy of English using the large language model LLaMA-7B as a predictor for the next token given a window of past tokens. This estimate is significantly smaller than currently available estimates in \cite{cover1978convergent}, \cite{lutati2023focus}. A natural byproduct is an algorithm for lossless compression of English text which combines the prediction from the large language model with a lossless compression scheme. Preliminary results from limited experiments suggest that our scheme outperforms state-of-the-art text compression schemes such as BSC, ZPAQ, and paq8h.
Abstract（参考訳）: 過去のトークンの窓を与えられた次のトークンの予測子として,大言語モデルllama-7bを用いて,英語のエントロピーに関する漸近的上限を新たに推定する。この推定は、現在利用可能な cite{cover 1978convergent}, \cite{lutati2023focus} の見積もりよりもかなり小さい。自然副産物は、大きな言語モデルからの予測と損失のない圧縮スキームを組み合わせた英語テキストのロスレス圧縮のためのアルゴリズムである。 BSCやZPAQ,paq8hといった最先端のテキスト圧縮方式よりも優れた結果が得られた。

関連論文リスト

Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
論文参考訳（メタデータ） (2024-11-19T12:15:40Z)
AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
論文参考訳（メタデータ） (2024-09-23T14:21:06Z)
Ranking LLMs by compression [13.801767671391604]
圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
論文参考訳（メタデータ） (2024-06-20T10:23:38Z)
In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文参考訳（メタデータ） (2024-06-19T15:14:55Z)
Training LLMs over Neurally Compressed Text [55.11828645767342]
本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
論文参考訳（メタデータ） (2024-04-04T17:48:28Z)
Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance [34.641079276516926]
我々は,0-gram言語モデリングとみなす圧縮の理論的重要性を論じる。事前学習した言語モデルの下流での成功に対する圧縮の実証的重要性を示す。本稿では,トークン化器の圧縮とモデル下流性能の相関関係を示す。
論文参考訳（メタデータ） (2024-03-10T17:02:53Z)
A Comprehensive Survey of Compression Algorithms for Language Models [10.21587168771851]
我々は,プルーニング,量子化,知識蒸留,低ランク近似,パラメータ共有,効率的なアーキテクチャ設計など,多様な圧縮アルゴリズムを調査し,要約する。本稿では,圧縮アルゴリズムの各カテゴリの価値と,大規模言語モデルの出現により大きな影響を与える低コスト圧縮アルゴリズムの望ましい特性について論じる。
論文参考訳（メタデータ） (2024-01-27T08:38:56Z)
What Do Compressed Multilingual Machine Translation Models Forget? [102.50127671423752]
平均BLEUはわずかに減少するが,表現不足言語の性能は著しく低下する。圧縮は,高リソース言語においても,本質的な性差や意味バイアスを増幅することを示した。
論文参考訳（メタデータ） (2022-05-22T13:54:44Z)
Compression of Generative Pre-trained Language Models via Quantization [62.80110048377957]
従来の量子化手法は, テクスモジニアス単語の埋め込みによって生成タスクに失敗することがわかった。本稿では,区別可能な単語埋め込みを学習するためのトークンレベルのコントラスト蒸留法と,異なるモジュールに対して量子化器を適応させるモジュールワイドダイナミックスケーリングを提案する。
論文参考訳（メタデータ） (2022-03-21T02:11:35Z)
Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文参考訳（メタデータ） (2021-12-08T13:02:53Z)
Extreme Model Compression for On-device Natural Language Understanding [6.941609786551173]
我々は,大規模かつ商業的なNLUシステムにおいて,膨大な語彙サイズを持つ多種多様な意図に基づいて学習した結果を示す。提案手法は, 予測性能が3.7%未満の圧縮速度で97.4%の圧縮性能を実現する。
論文参考訳（メタデータ） (2020-11-30T21:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。