論文の概要: Lossless Token Sequence Compression via Meta-Tokens
- arxiv url: http://arxiv.org/abs/2506.00307v1
- Date: Fri, 30 May 2025 23:32:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-04 21:47:32.693353
- Title: Lossless Token Sequence Compression via Meta-Tokens
- Title（参考訳）: メタトークンによるロスレストークンシーケンス圧縮
- Authors: John Harvill, Ziwei Fan, Hao Wang, Yizhou Sun, Hao Ding, Luke Huan, Anoop Deoras,
- Abstract要約: LZ77と同様のタスク非依存のロスレス圧縮手法を導入し,入力トークン列の長さを平均27%,18%削減する。
提案手法はセマンティクス/構文の厳密な保存を必要とする2つのタスクに対して評価し、既存の損失圧縮手法がこの設定において不十分であることを示す。
- 参考スコア（独自算出の注目度）: 34.795097157742624
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Existing work on prompt compression for Large Language Models (LLM) focuses on lossy methods that try to maximize the retention of semantic information that is relevant to downstream tasks while significantly reducing the sequence length. In this paper, we introduce a task-agnostic lossless compression technique similar to LZ77 that makes it possible to reduce the input token sequence length on average by 27\% and 18\% for the two evaluation tasks explored here. Given that we use transformer-based LLMs, this equates to 47\% and 33\% less encoding computation, respectively, due to the quadratic nature of attention. The token sequence transformation is trivial to reverse and highlights that no semantic information is lost in the process. We evaluate our proposed approach on two tasks that require strict preservation of semantics/syntax and demonstrate that existing lossy compression methods perform poorly in this setting. We find that our lossless compression technique produces only a small gap in performance compared to using the uncompressed input and posit that larger models and an expanded computing budget would likely erase the gap entirely.
- Abstract（参考訳）: LLM(Large Language Models)のプロンプト圧縮に関する既存の研究は、ダウンストリームタスクに関連するセマンティック情報の保持を最大化しつつ、シーケンス長を大幅に削減しようとする損失のある手法に焦点を当てている。
本稿では,LZ77に類似したタスクに依存しない無損失圧縮手法を提案する。
変換器をベースとしたLLMを使用する場合、注意の二次的な性質のため、それぞれ47\%と33\%のエンコード計算に等しくなる。
トークンシーケンス変換は逆転しやすく、プロセス中に意味情報が失われないことを強調します。
提案手法はセマンティクス/構文の厳密な保存を必要とする2つのタスクに対して評価し、既存の損失圧縮手法がこの設定において不十分であることを示す。
我々の損失のない圧縮技術は、圧縮されていない入力と、より大きなモデルと拡張されたコンピューティング予算を使用することで、そのギャップを完全に消し去る可能性があることに比べ、パフォーマンスの小さなギャップしか生じないことがわかった。
関連論文リスト
- TACO-RL: Task Aware Prompt Compression Optimization with Reinforcement Learning [11.167198972934736]
GPT-4のような大規模言語モデル(LLM)は、最適なパフォーマンスに必要なプロンプトのサイズが急増した。
本稿では,RLに基づくタスク認識プロンプト圧縮手法を提案する。
我々は,RL誘導圧縮法により,最先端圧縮技術よりもタスク性能が8%から189%向上することが実証された。
論文 参考訳（メタデータ） (2024-09-19T18:11:59Z) - LanguaShrink: Reducing Token Overhead with Psycholinguistics [8.123272461141815]
LanguaShrinkは、大規模言語モデルの即時圧縮フレームワークである。
本質的な情報を保持しながら、即時長を短縮する。
既存のプロンプト圧縮手法と比較して、LanguaShrinkはエンドツーエンドのレイテンシを1.43倍改善している。
論文 参考訳（メタデータ） (2024-09-01T22:09:20Z) - Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。
API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
論文 参考訳（メタデータ） (2024-07-02T08:17:00Z) - In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。
我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。
実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
論文 参考訳（メタデータ） (2024-06-19T15:14:55Z) - Training LLMs over Neurally Compressed Text [55.11828645767342]
本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。
テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。
提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
論文 参考訳（メタデータ） (2024-04-04T17:48:28Z) - LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。
我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。
提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-03-19T17:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。