論文の概要: Context Compression for Auto-regressive Transformers with Sentinel Tokens

• arxiv url: http://arxiv.org/abs/2310.08152v2
• Date: Sun, 15 Oct 2023 09:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-17 10:28:24.952447
• Title: Context Compression for Auto-regressive Transformers with Sentinel Tokens
• Title（参考訳）: センチネルトークンを用いた自己回帰変圧器のコンテキスト圧縮
• Authors: Siyu Ren, Qi Jia, Kenny Q. Zhu
• Abstract要約: 本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
• 参考スコア（独自算出の注目度）: 37.07722536907739
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic complexity of the attention module makes it gradually become the bulk of compute in Transformer-based LLMs during generation. Moreover, the excessive key-value cache that arises when dealing with long inputs also brings severe issues on memory footprint and inference latency. In this work, we propose a plug-and-play approach that is able to incrementally compress the intermediate activation of a specified span of tokens into compact ones, thereby reducing both memory and computational cost when processing subsequent context. Experiments on both in-domain language modeling and zero-shot open-ended document generation demonstrate the advantage of our approach over sparse attention baselines in terms of fluency, n-gram matching, and semantic similarity. At last, we comprehensively profile the benefit of context compression on improving the system throughout. Code is available at https://github.com/DRSY/KV_Compression.
• Abstract（参考訳）: 注意モジュールの二次的な複雑さは、世代間トランスフォーマーベースのLLMにおいて、徐々に計算のバルクとなる。 さらに、長い入力を扱うときに発生する過剰なキー値キャッシュは、メモリフットプリントと推論遅延に深刻な問題を引き起こす。 本研究では,特定のトークンスパンの中間的なアクティベーションをコンパクトなものに段階的に圧縮することが可能なプラグ・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、頻度、n-gramマッチング、意味的類似性の観点から、疎注意ベースラインに対する我々のアプローチの利点を実証している。 最後に、システム全体の改善におけるコンテキスト圧縮の利点を包括的に紹介する。 コードはhttps://github.com/drsy/kv_compressionで入手できる。

関連論文リスト

• Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking [28.492055407384495]
  長期のコンテキストは、自己注意の計算コストがシークエンスの長さと2次的に増加するにつれて、推論遅延を増大させる。 既存のメソッドは通常、コンテキスト全体を無差別にメモリトークンの集合に圧縮する。 本稿では,メモリトークンの受容領域を逐次局所チャンクに制限する並列反復圧縮(PIC)を提案する。
  論文  参考訳（メタデータ） (2026-02-15T03:58:13Z)
• Context Compression via Explicit Information Transmission [25.078241611630585]
  大規模言語モデル(LLM)による長文推論は、二次的な注意とキー値キャッシュの増加によってコストがかかる。 ソフト圧縮を新しいパラダイムに定式化する軽量フレームワークComprExITを提案する。
  論文  参考訳（メタデータ） (2026-02-03T17:44:12Z)
• Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows [3.437656066916039]
  本稿では,トランスアーキテクチャではなく,入力表現自体を変更するアプローチを提案する。 人間の記憶の認知モデルに着想を得て,入力トークンにスケール不変の対数圧縮を適用した。
  論文  参考訳（メタデータ） (2025-10-25T01:29:37Z)
• UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
  UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。 生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。 提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
  論文  参考訳（メタデータ） (2025-09-19T08:47:37Z)
• SCOUT: Toward Sub-Quadratic Attention via Segment Compression for Optimized Utility in Transformers [15.142822497807236]
  固定サイズセグメント内でトークンを局所的に圧縮し,これらの圧縮表現にのみ注目するハイブリッドアーキテクチャであるSCOUTを提案する。 SCOUTは、計算コストとメモリコストを大幅に削減しつつ、完全な注意の表現力を保っている。 SCOUTの計算とメモリ効率を解析し、長文言語モデリングおよび推論タスクで経験的に評価する。
  論文  参考訳（メタデータ） (2025-08-31T17:08:33Z)
• Lag-Relative Sparse Attention In Long Context Training [8.365610885641276]
  本稿では,LagKV圧縮法で固定されたLag-Relative Sparse Attention(LRSA)を長期学習後に提案する。 本手法はチャンク・バイ・チャンク・プリフィルを行い, 固定サイズのラグウィンドウにおいて, 最上位のキー値ペアを選択する。
  論文  参考訳（メタデータ） (2025-06-13T06:49:53Z)
• zip2zip: Inference-Time Adaptive Tokenization via Online Compression [27.16551923444618]
  zip2zipは、大規模言語モデルでコンテキスト適応トークン化を実現するための新しい方法である。 パラメータ効率のよい微調整により、既存のLLMを10GPU時間でzip2zipにアップトレーニングできることが示される。 結果としてLLMはテスト時間適応を行い、目に見えないコンテキストでハイパートークンを使うことを学び、入力トークンと出力トークンを15～40%削減する。
  論文  参考訳（メタデータ） (2025-06-01T17:03:02Z)
• Efficient Token Compression for Vision Transformer with Spatial Information Preserved [59.79302182800274]
  トーケン圧縮は、トランスモデルの計算およびメモリ要求の低減に不可欠である。 本稿では,Prune と Merge という,効率的なハードウェア互換のトークン圧縮手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T14:23:18Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• SubGen: Token Generation in Sublinear Time and Memory [48.35076900702408]
  大規模言語モデル(LLM)はトークン生成に広範なメモリ要件を持つ。 本研究では,KVキャッシュの効率的な圧縮手法の開発に焦点をあてる。 我々は,キートークンにオンラインクラスタリングを導入し,値に$ell$をサンプリングする,サブ線形複雑性を持つ新しいキャッシング手法を考案した。 このアルゴリズムは、サブリニアメモリフットプリントとサブリニアタイムの複雑さを保証するだけでなく、我々のアプローチに厳密なエラーを課す。
  論文  参考訳（メタデータ） (2024-02-08T22:17:40Z)
• Long Context Compression with Activation Beacon [22.054232261437186]
  Activation Beaconは、トランスフォーマーベースのLLM用のプラグインモジュールである。 長いコンテキストの効率的な、効率的、柔軟な圧縮をターゲットとしている。 推論時間の2倍の高速化と、KVキャッシュのメモリコストの8倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-01-07T11:57:40Z)
• Compressed Context Memory For Online Language Model Interaction [39.72054168889216]
  本稿では,オンラインシナリオにおけるトランスフォーマー言語モデルに対する文脈キー/値圧縮手法を提案する。 コンテキストが長くなるにつれて、アテンションプロセスはメモリと計算量の増加を必要とし、それによって言語モデルのスループットが低下する。 本稿では,注目鍵/値ペアを連続的にコンパクトなメモリ空間に圧縮するコンテクストメモリシステムを提案する。
  論文  参考訳（メタデータ） (2023-12-06T10:50:43Z)
• Cluster-Former: Clustering-based Sparse Transformer for Long-Range Dependency Encoding [90.77031668988661]
  Cluster-Formerはクラスタリングベースの新しいスパーストランスであり、チャンクされたシーケンスにまたがって注意を向ける。 提案されたフレームワークは、Sliding-Window LayerとCluster-Former Layerの2つのユニークなタイプのTransformer Layerにピボットされている。 実験によると、Cluster-Formerはいくつかの主要なQAベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-09-13T22:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。