論文の概要: zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

• arxiv url: http://arxiv.org/abs/2610.13605v1
• Date: Fri, 09 Oct 2026 13:52:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.608031
• Title: zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss
• Title（参考訳）: zip2zip++:最小品質の損失で推論時トークン圧縮を実現する
• Abstract要約: Lempel-Ziv-Welch (LZW) 圧縮によって構築された動的語彙により、言語モデルはより少ないトークンで同じテキストを表現することができる。 以前の研究は、この効率性は推論と難易度にコストがかかることを示している。 この品質ギャップは圧縮の基本的な価格ではなく、実質的に閉じることができることを示す。
• 参考スコア（独自算出の注目度）: 8.950537819533546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic vocabularies built on-the-fly via Lempel-Ziv-Welch (LZW) compression let a language model represent the same text in fewer tokens, but prior work shows that this efficiency comes at a cost to reasoning and perplexity. We show that this quality gap is not a fundamental price of compression but can be substantially closed through targeted improvements to the compression layer and LZW codec, without modifying the underlying pretrained language model. Our analysis reveals four key issues: (1) LZW's compression algorithm creates an implicit conflict between the input embedding and the output embedding, a tension that a single shared embedding cannot resolve; (2) naively applying RoPE to LZW-compressed sequences ignores that merged tokens can span multiple tokens; (3) merging certain tokens (notably digits) disproportionately hurts downstream accuracy; and (4) dynamic vocabularies introduce an inherent segmentation ambiguity that confounds standard evaluation. We address these through decoupled input/output dynamic embedding layer, size-aware RoPE positioning, and a modified LZW codec supporting selective merges and multi-view segmentations. Across four models, our recipe improves perplexity on every corpus we evaluated as well as mathematical reasoning accuracy, closing roughly half the quality gap between zip2zip and the uncompressed baseline at a similar compression ratio on general text. This represents a significant step toward lossless adaptive-vocabulary compression for language models.
• Abstract（参考訳）: Lempel-Ziv-Welch (LZW)圧縮によって構築された動的語彙は、言語モデルと同じテキストを少ないトークンで表現するが、以前の研究は、この効率性は推論とパープレキシティのコストがかかることを示している。 圧縮層とLZWコーデックを目標とした改良により, 基礎となる事前学習言語モデルを変更することなく, 大幅にクローズできることを示す。 LZWの圧縮アルゴリズムは入力の埋め込みと出力の埋め込みの間に暗黙の衝突を生じさせ、単一の共有埋め込みが解決できない緊張を生じさせ、(2)LoPEをLZW圧縮シーケンスに適用することで、マージトークンが複数のトークンにまたがることができることを無視し、(3)特定のトークン(特に桁)を不均等に下流の精度を損なうこと、(4)動的語彙は標準評価を裏付ける固有のセグメンテーションの曖昧さを導入する。 分離された入出力動的埋め込み層、サイズ対応のRoPE位置決め、選択マージとマルチビューセグメンテーションをサポートするLZWコーデックによってこれらに対処する。 4つのモデルにまたがって、評価した各コーパスのパープレキシティと数学的推論精度を向上し、Zip2zipと圧縮されていないベースラインの約半分を、一般的なテキスト上で同様の圧縮比で閉じる。 これは、言語モデルに対するロスレス適応語彙圧縮への重要なステップである。

関連論文リスト

• VLZip: Unified Visual and Textual Compression for Interleaved Long-Context Modeling [81.92510561363197]
  VLZipは、純粋なトランスフォーマー内で高忠実性推論のための視覚的およびテキスト的圧縮を統一するフレームワークである。 また、LongVLBenchというビデオナラティブから派生した、全体論的、物語レベルの推論を要求する新しいベンチマークも紹介する。
  論文  参考訳（メタデータ） (2026-08-09T10:31:03Z)
• VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
  VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。 第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。 第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
  論文  参考訳（メタデータ） (2026-08-09T08:17:18Z)
• Every Time I Hire a Linguist, Inference Costs Go Down: On Linguistic Rules as Effective Prompt Compressors [13.49190771932777]
  我々は, 語彙, 構文, 意味, 言説の種を進化的に探索し, 競争ルールの組み合わせを見つける。 結果、言語圧縮機はデプロイメント時にLMフォワードパスを必要とせず、CPU側でのみ圧縮を行う。 圧縮品質と復元精度のバランスをとるために,デュアルパスプロトコルを用いて評価を行った。
  論文  参考訳（メタデータ） (2026-07-28T06:33:27Z)
• Autoencoding-Free Context Compression for LLMs via Contextual Semantic Anchors [43.02557489472655]
  現在の文脈圧縮法は、文脈に依存しない圧縮トークンを訓練し、文脈意味論を圧縮する自動符号化タスクに依存している。 本稿では,自動符号化タスクベース圧縮から,この圧縮機能を備えたアーキテクチャへ移行する新しい手法であるSemantic-Anchor Compression (SAC)を提案する。 SACは、様々な圧縮比で既存の文脈圧縮手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-10-10T01:42:14Z)
• Concise and Precise Context Compression for Tool-Using Language Models [60.606281074373136]
  ツールを用いた言語モデルにおいて,ツール文書を簡潔かつ高精度な要約シーケンスに圧縮する2つの手法を提案する。 API-BankとAPIBenchの結果,最大16倍の圧縮率で上行ベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-07-02T08:17:00Z)
• Training LLMs over Neurally Compressed Text [55.11828645767342]
  本稿では,高度に圧縮されたテキスト上での大規模言語モデル(LLM)の訓練について検討する。 テキストをブロックに分割し,それぞれが同じビット長に圧縮する新しい圧縮手法であるEqual-Info Windowsを提案する。 提案手法は, 大規模化により向上し, パープレキシティと推論速度のベンチマークにおいて, バイトレベルのベースラインをはるかに上回る, ニューラルネットワークによる効果的な学習を実演する。
  論文  参考訳（メタデータ） (2024-04-04T17:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。