論文の概要: 500xCompressor: Generalized Prompt Compression for Large Language Models

• arxiv url: http://arxiv.org/abs/2408.03094v1
• Date: Tue, 6 Aug 2024 10:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 14:17:45.608245
• Title: 500xCompressor: Generalized Prompt Compression for Large Language Models
• Title（参考訳）: 500xCompressor: 大規模言語モデルのための一般化されたプロンプト圧縮
• Authors: Zongqian Li, Yixuan Su, Nigel Collier,
• Abstract要約: 500xCompressorは、自然言語のコンテキストを最小1つの特別なトークンに圧縮する手法である。 あらゆるテキストを圧縮し、様々な種類の質問に答えるように設計されており、微調整を必要とせずにオリジナルの大言語モデル(LLM)によって利用することができる。
• 参考スコア（独自算出の注目度）: 32.4489985319054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt compression is crucial for enhancing inference speed, reducing costs, and improving user experience. However, current methods face challenges such as low compression ratios and potential data leakage during evaluation. To address these issues, we propose 500xCompressor, a method that compresses extensive natural language contexts into a minimum of one single special token. The 500xCompressor introduces approximately 0.3% additional parameters and achieves compression ratios ranging from 6x to 480x. It is designed to compress any text, answer various types of questions, and could be utilized by the original large language model (LLM) without requiring fine-tuning. Initially, 500xCompressor was pretrained on the Arxiv Corpus, followed by fine-tuning on the ArxivQA dataset, and subsequently evaluated on strictly unseen and classical question answering (QA) datasets. The results demonstrate that the LLM retained 62.26-72.89% of its capabilities compared to using non-compressed prompts. This study also shows that not all the compressed tokens are equally utilized and that K V values have significant advantages over embeddings in preserving information at high compression ratios. The highly compressive nature of natural language prompts, even for fine-grained complex information, suggests promising potential for future applications and further research into developing a new LLM language.
• Abstract（参考訳）: プロンプト圧縮は、推論速度の向上、コスト削減、ユーザエクスペリエンスの向上に不可欠である。 しかし、現在の手法では、圧縮率の低下や、評価中の潜在的なデータ漏洩といった課題に直面している。 これらの問題に対処するため,500xCompressorを提案する。 500xCompressorは約0.3%の追加パラメータを導入し、6xから480xまでの圧縮比を達成している。 あらゆるテキストを圧縮し、様々な種類の質問に答えるように設計されており、微調整を必要とせず、オリジナルの大言語モデル(LLM)によって利用することができる。 当初、500xCompressorはArxiv Corpusで事前訓練され、その後ArxivQAデータセットで微調整され、その後、厳密に見えない古典的な質問応答(QA)データセットで評価された。 その結果、LLMは非圧縮プロンプトと比較して62.26-72.89%の能力を保持していた。 また, 圧縮トークンはすべて等しく利用されるわけではなく, 高圧縮比での情報保存におけるKV値の埋め込みよりも大きな利点があることが示唆された。 自然言語の高度に圧縮された性質は、きめ細かい複雑な情報であっても、将来的な応用の可能性を示し、新たなLLM言語の開発について研究している。

関連論文リスト

• Large Language Models for Lossless Image Compression: Next-Pixel Prediction in Language Space is All You Need [53.584140947828004]
  前例のないインテリジェンスを持つ言語大モデル(LLM)は、様々なデータモダリティのための汎用ロスレス圧縮機である。 P$2$-LLMは,様々な入念な洞察と方法論を統合した次世代の予測型LLMである。 ベンチマークデータセットの実験では、P$2$-LLMがSOTAの古典的および学習的コーデックに勝ることを示した。
  論文  参考訳（メタデータ） (2024-11-19T12:15:40Z)
• Style-Compress: An LLM-Based Prompt Compression Framework Considering Task-Specific Styles [49.65811277223873]
  Style-Compressは、より小さな言語モデルを適用して、新たなタスクでより大きなモデルのプロンプトを、追加のトレーニングなしで圧縮する軽量フレームワークである。 提案手法は,実効圧縮プロンプトを,スタイルのバリエーションやコンテキスト内学習を通じて,タスク固有の実演として反復的に生成し,選択する。 Style-Compressは、オリジナルのプロンプト再構成、テキスト要約、マルチホップQA、CoT推論の4つのタスクで2つのベースライン圧縮モデルを上回っている。
  論文  参考訳（メタデータ） (2024-10-17T21:35:49Z)
• LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
  LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。 本質的な情報を保持しながら、即時長を短縮する。 既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
  論文  参考訳（メタデータ） (2024-09-01T22:09:20Z)
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models [21.025001473355996]
  大規模言語モデル(LLM)の即時圧縮問題について定式化する。 ブラックボックスモデルのハードプロンプトを生成するトークンレベルのプロンプト圧縮手法を統合するためのフレームワークを提案する。 本稿では,現在の高速圧縮法の性能と最適戦略との間に大きなギャップがあることを述べる。
  論文  参考訳（メタデータ） (2024-07-22T09:40:13Z)
• Ranking LLMs by compression [13.801767671391604]
  圧縮の先駆けとして5つの大きな言語モデルを使用し、課題のある自然言語処理タスクのパフォーマンスを比較します。 実験の結果,圧縮比とモデル性能は正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2024-06-20T10:23:38Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Extreme Model Compression for On-device Natural Language Understanding [6.941609786551173]
  我々は,大規模かつ商業的なNLUシステムにおいて,膨大な語彙サイズを持つ多種多様な意図に基づいて学習した結果を示す。 提案手法は, 予測性能が3.7%未満の圧縮速度で97.4%の圧縮性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。