論文の概要: Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data

• arxiv url: http://arxiv.org/abs/2604.13066v1
• Date: Thu, 19 Mar 2026 21:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.652778
• Title: Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning: Enabling Cost-Effective LLM Analysis of Repetitive Data
• Title（参考訳）: 辞書エンコーディングとインコンテキスト学習によるロスレスプロンプト圧縮:繰り返しデータのコスト効果LLM解析の実現
• Authors: Andresa Rodrigues de Campos, David Lee, Imry Kissos, Piyush Paritosh,
• Abstract要約: 本稿では,大規模言語モデルを用いて,テキスト中のキーのエンコーディングを学習し,符号化された表現の分析を行うことができることを示す。 本稿では,複数長さの繰り返しパターンを識別する圧縮アルゴリズムを提案する。 このトレーニング不要のアプローチは、APIベースのLLMで動作し、基本的なデプロイメント制約に直接対処する。
• 参考スコア（独自算出の注目度）: 0.19780197369405136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning has established itself as an important learning paradigm for Large Language Models (LLMs). In this paper, we demonstrate that LLMs can learn encoding keys in-context and perform analysis directly on encoded representations. This finding enables lossless prompt compression via dictionary encoding without model fine-tuning: frequently occurring subsequences are replaced with compact meta-tokens, and when provided with the compression dictionary in the system prompt, LLMs correctly interpret these meta-tokens during analysis, producing outputs equivalent to those from uncompressed inputs. We present a compression algorithm that identifies repetitive patterns at multiple length scales, incorporating a token-savings optimization criterion that ensures compression reduces costs by preventing dictionary overhead from exceeding savings. The algorithm achieves compression ratios up to 80$\%$ depending on dataset characteristics. To validate that LLM analytical accuracy is preserved under compression, we use decompression as a proxy task with unambiguous ground truth. Evaluation on the LogHub 2.0 benchmark using Claude 3.7 Sonnet demonstrates exact match rates exceeding 0.99 for template-based compression and average Levenshtein similarity scores above 0.91 for algorithmic compression, even at compression ratios of 60$\%$-80$\%$. Additionally, compression ratio explains less than 2$\%$ of variance in similarity metrics, indicating that decompression quality depends on dataset characteristics rather than compression intensity. This training-free approach works with API-based LLMs, directly addressing fundamental deployment constraints -- token limits and API costs -- and enabling cost-effective analysis of large-scale repetitive datasets, even as data patterns evolve over time.
• Abstract（参考訳）: インコンテキスト学習は、大規模言語モデル(LLM)の重要な学習パラダイムとして確立されている。 本稿では,LLMがテキスト中のキーのエンコーディングを学習し,エンコードされた表現を直接解析できることを実証する。 頻発するサブシーケンスをコンパクトなメタトークンに置き換え、システムプロンプトに圧縮辞書を設けると、LLMは解析中にこれらのメタトークンを正しく解釈し、非圧縮入力と同等の出力を生成する。 本稿では,複数長さの繰り返しパターンを識別する圧縮アルゴリズムを提案する。 このアルゴリズムは,データセットの特性に応じて最大80$\%の圧縮比を達成する。 LLM解析精度が圧縮下で保持されていることを検証するため、不明瞭な基底真理を持つプロキシタスクとして減圧を用いる。 Claude 3.7 Sonnetを用いたLogHub 2.0ベンチマークの評価では、テンプレートベースの圧縮では0.99以上、アルゴリズム圧縮では平均Levenshtein類似度スコアは0.91以上、圧縮比は60$\%$-80$\%$である。 さらに、圧縮比は類似度測定値の2$\%以下で説明されており、圧縮強度よりも圧縮品質がデータセット特性に依存することを示している。 このトレーニングフリーのアプローチは、APIベースのLLMで動作し、基本的なデプロイメント制約 -- トークン制限とAPIコスト -- に対処し、データパターンが時間とともに進化しても、大規模反復データセットのコスト効率の良い分析を可能にする。

関連論文リスト

• Density-aware Soft Context Compression with Semi-Dynamic Compression Ratio [19.375601589555327]
  本稿では,Semi-Dynamic Context Compressionフレームワークを紹介する。 本手法では,固有情報密度に基づいて圧縮目標を予測する離散比セレクタを特徴とする。 私たちのフレームワークは、静的なベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-03-26T21:36:55Z)
• Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
  我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。 本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。 クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。 これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-02-12T18:15:08Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Autoencoding-Free Context Compression for LLMs via Contextual Semantic Anchors [43.02557489472655]
  現在の文脈圧縮法は、文脈に依存しない圧縮トークンを訓練し、文脈意味論を圧縮する自動符号化タスクに依存している。 本稿では,自動符号化タスクベース圧縮から,この圧縮機能を備えたアーキテクチャへ移行する新しい手法であるSemantic-Anchor Compression (SAC)を提案する。 SACは、様々な圧縮比で既存の文脈圧縮手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-10-10T01:42:14Z)
• Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods [54.4711434793961]
  単純な画像ダウンサンプリングは、複数の広く使用されているベンチマークにおいて、多くの高度な圧縮方法より一貫して優れていることを示す。 これらの結果に触発され,既存のベンチマークを識別するデータフィルタリング機構を組み込んだ評価フレームワークであるVTC-Benchを導入する。
  論文  参考訳（メタデータ） (2025-10-08T15:44:28Z)
• R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
  CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。 CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。 ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
  論文  参考訳（メタデータ） (2025-05-22T16:06:59Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression [43.048684907893104]
  本稿では, タスク非依存のプロンプト圧縮に着目し, 一般化性と効率性の向上を図る。 我々は,プロンプト圧縮をトークン分類問題として定式化し,圧縮されたプロンプトが元のプロンプトに忠実であることを保証する。 提案手法は, XLM-RoBERTa-large や mBERT などの小型モデルを用いて圧縮目標を明示的に学習することにより,低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-03-19T17:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。