論文の概要: Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference

• arxiv url: http://arxiv.org/abs/2609.25537v1
• Date: Tue, 22 Sep 2026 01:10:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.167473
• Title: Compressing Long Context into Answer-Aligned Memory Embeddings for LLM Inference
• Title（参考訳）: LLM推論のためのアンサーアラインメモリ埋め込みへの長コンテキスト圧縮
• Abstract要約: 大規模言語モデル(LLM)推論は、自己アテンションの2次スケーリングとKVキャッシュの線形スケーリングによって制約される。 コンテクストをコンパクトなコンテクストメモリに圧縮するContext-to-Answer-Aligned Memory Compressionフレームワークを提案する。 実験の結果、MCCはベースラインを一貫して上回り、SQuADでは7.3 EMと4.0 F1ポイントのゲインを達成している。
• 参考スコア（独自算出の注目度）: 2.783126026822281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) inference is constrained by the quadratic scaling of self-attention and the linear scaling of the KV cache, increasing latency, energy consumption, and GPU memory demand as context length scales. Existing soft-compression methods either lack query-guided memory selection at inference time, train without answer-targeted supervision, or couple compression tightly to a specific decoder architecture. We propose a Context-to-Answer-Aligned Memory Compression (CMC) framework, which compresses long input contexts into compact Context Memory Embeddings (CMEs) aligned to any frozen decoder's embedding space, reducing inference costs without modifying decoder weights. CMC introduces a two-tier KV cache that combines question-guided CME selection with a local context window, and trains the compressor with answer-targeted distillation from a frozen LLM. Experiments across nine encoder-decoder combinations and four QA benchmarks show that CMC consistently outperforms the baseline, achieving up to 7.3 EM and 4.0 F1 point gains on SQuAD, while reducing inference time and energy consumption by up to 20% and peak reserved GPU memory by up to 50% at 3,000 generation tokens. Ablation studies confirm that each architectural component and training objective contributes to the performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論は、コンテキスト長のスケールによってKVキャッシュの2次スケーリング、レイテンシの増加、エネルギー消費、GPUメモリ要求によって制約される。 既存のソフト圧縮手法では、推論時にクエリ誘導メモリの選択が欠如している場合や、応答対象の監視を含まない場合、あるいは特定のデコーダアーキテクチャに厳密な圧縮を施している場合がある。 本稿では,任意の冷凍デコーダの埋め込み空間に整合した長文入力コンテキストをコンパクトなコンテキストメモリ埋め込み(CME)に圧縮し,デコーダの重みを変更することなく推論コストを削減できるコンテキスト・ツー・アンサー型メモリ圧縮(CMC)フレームワークを提案する。 CMCは、質問誘導CME選択とローカルコンテキストウィンドウを組み合わせた2層KVキャッシュを導入し、冷凍LLMからの解答ターゲット蒸留で圧縮機を訓練する。 9つのエンコーダとデコーダの組み合わせと4つのQAベンチマークによる実験の結果、MCCはベースラインを一貫して上回り、SQuADで最大7.3 EMと4.0 F1ポイントのゲインを達成した。 アブレーション研究は、それぞれのアーキテクチャコンポーネントとトレーニングの目的がパフォーマンスに寄与することを確認します。

関連論文リスト

• SeDeM: Selective Decompression of Hidden-State Memories for Long-Context Question Answering [44.06365338975172]
  SeDeMは、デコーダコンディショニングからコンパクトメモリストレージを分離する選択的なデ圧縮フレームワークである。 4つの長文QAベンチマークにおいて、SeDeMは評価された圧縮ベースラインよりも高いQAスコアを達成する。
  論文  参考訳（メタデータ） (2026-07-31T21:44:03Z)
• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
  本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。 このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。 ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
  論文  参考訳（メタデータ） (2026-02-09T08:33:11Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs [15.76582272387931]
  本稿では,効率的なキャッシュ管理のための動的KVキャッシュ圧縮フレームワークZSMergeを提案する。 ZSMergeはメモリ効率と推論速度を無視可能な性能劣化で著しく向上させる。
  論文  参考訳（メタデータ） (2025-03-13T03:36:03Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。