論文の概要: FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression

• arxiv url: http://arxiv.org/abs/2409.17141v1
• Date: Wed, 25 Sep 2024 17:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 02:33:29.593179
• Title: FineZip : Pushing the Limits of Large Language Models for Practical Lossless Text Compression
• Title（参考訳）: ファインジップ : 実用的なロスレステキスト圧縮のための大規模言語モデルの限界を押し上げる
• Authors: Fazal Mittu, Yihuan Bu, Akshat Gupta, Ashok Devireddy, Alp Eren Ozdarendeli, Anant Singh, Gopala Anumanchipalli,
• Abstract要約: FineZipは、オンライン記憶と動的コンテキストのアイデアを組み合わせて圧縮時間を劇的に短縮する新しいテキスト圧縮システムである。 FineZipは上記のコーパスを9.5日と比較すると約4時間で圧縮できる。
• 参考スコア（独自算出の注目度）: 1.9699843876565526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the language modeling objective has been shown to be deeply connected with compression, it is surprising that modern LLMs are not employed in practical text compression systems. In this paper, we provide an in-depth analysis of neural network and transformer-based compression techniques to answer this question. We compare traditional text compression systems with neural network and LLM-based text compression methods. Although LLM-based systems significantly outperform conventional compression methods, they are highly impractical. Specifically, LLMZip, a recent text compression system using Llama3-8B requires 9.5 days to compress just 10 MB of text, although with huge improvements in compression ratios. To overcome this, we present FineZip - a novel LLM-based text compression system that combines ideas of online memorization and dynamic context to reduce the compression time immensely. FineZip can compress the above corpus in approximately 4 hours compared to 9.5 days, a 54 times improvement over LLMZip and comparable performance. FineZip outperforms traditional algorithmic compression methods with a large margin, improving compression ratios by approximately 50\%. With this work, we take the first step towards making lossless text compression with LLMs a reality. While FineZip presents a significant step in that direction, LLMs are still not a viable solution for large-scale text compression. We hope our work paves the way for future research and innovation to solve this problem.
• Abstract（参考訳）: 言語モデリングの目的は圧縮と深く結びついていることが示されているが、現代のLLMが実用的なテキスト圧縮システムでは採用されていないことは驚くべきことである。 本稿では,ニューラルネットワークと変圧器を用いた圧縮技術の詳細解析を行い,この問題に答える。 従来のテキスト圧縮システムとニューラルネットワークとLLMベースのテキスト圧縮手法を比較した。 LLMベースのシステムは従来の圧縮法よりも大幅に優れているが、それらは非常に実用的ではない。 具体的には、Llama3-8B を用いた最近のテキスト圧縮システム LLMZip では、圧縮比が大幅に改善されているが、10MBのテキストのみを圧縮するのに 9.5 日を要する。 この問題を解決するために,オンライン記憶と動的コンテキストのアイデアを組み合わせて圧縮時間を劇的に短縮する新しいLLMベースのテキスト圧縮システムであるFineZipを提案する。 FineZipは上記のコーパスを9.5日と比較すると約4時間で圧縮できる。 FineZipは従来のアルゴリズム圧縮手法よりも大きなマージンで優れており、圧縮比を約50倍改善している。 本研究は,LLMによるロスレステキスト圧縮の実現に向けた第一歩を踏み出したものである。 FineZipはその方向に大きな一歩を踏み出していますが、LLMは依然として大規模テキスト圧縮の有効なソリューションではありません。 私たちは、この問題を解決するための将来の研究とイノベーションの道を開くことを願っています。

関連論文リスト

• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Less is More: DocString Compression in Code Generation [32.35654005267307]
  LLM(Large Language Models)は、関数/メソッドシグネチャとDocStringを実行可能なコードに変換するために使用される。 プロンプト圧縮の最近の進歩は自然言語処理(NLP)において有望な結果を示しているが、コード生成への適用性はまだ不明である。 コード生成のためのDocString圧縮専用の新しい圧縮手法であるShortenDocを提案する。
  論文  参考訳（メタデータ） (2024-10-30T08:17:10Z)
• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
  本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。 第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
  論文  参考訳（メタデータ） (2024-09-23T14:21:06Z)
• Understanding is Compression [18.747845226548456]
  6G通信速度要件は、データ圧縮の革新的な新しいアイデアに対して、オープンな疑問を提起する。 大規模な言語モデル(LLM)は、これまで以上にデータをよりよく理解しています。 従来の圧縮アルゴリズムを全て破壊するLMCompressを提案する。
  論文  参考訳（メタデータ） (2024-06-24T03:58:11Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Training LLMs over Neurally Compressed Text [55.11828645767342]
  本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
  論文  参考訳（メタデータ） (2024-04-04T17:48:28Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)
• Compressing LLMs: The Truth is Rarely Pure and Never Simple [90.05366363633568]
  Knowledge-Intensive Compressed LLM BenchmarKは、圧縮された大言語モデルの評価プロトコルを再定義することを目的としている。 LLM-KICKは、現在のSoTA圧縮方式の多くの有利な利点と不運な点を明らかにしている。 LLM-KICKは、言語理解、推論、生成、テキスト内検索、テキスト内要約などのための圧縮LLMの能力に一様にアクセスできるように設計されている。
  論文  参考訳（メタデータ） (2023-10-02T17:42:37Z)
• Deep Lossy Plus Residual Coding for Lossless and Near-lossless Image Compression [85.93207826513192]
  本稿では、損失のない画像圧縮とほぼロスレス画像圧縮の両面において、統合された強力な深い損失+残差(DLPR)符号化フレームワークを提案する。 VAEのアプローチにおける連立損失と残留圧縮の問題を解く。 ほぼロスレスモードでは、元の残差を量子化し、与えられた$ell_infty$エラー境界を満たす。
  論文  参考訳（メタデータ） (2022-09-11T12:11:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。