論文の概要: AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2609.22100v1
- Date: Wed, 12 Aug 2026 13:07:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.707802
- Title: AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation
- Title（参考訳）: AdaMem:Retrieval-Augmented Generationにおけるソフト圧縮のための適応メモリトークン割り当て
- Abstract要約: AdaMemは、言語モデルのための関連誘導型軟式圧縮フレームワークである。
学習したパス関連推定値を、固定メモリトーケン予算のクエリ依存の割り当てにマップする。
これは、一致したメモリ予算において、他のソフト圧縮手法よりも一貫して優れている。
- 参考スコア（独自算出の注目度）: 0.924096104256891
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) improves language models with retrieved evidence, but processing many long passages is costly and can introduce distracting information. Soft compression addresses this challenge by encoding passages as compact sequences of continuous memory embeddings before generation. However, existing methods typically assign each retained passage an identical number of memory embeddings, irrespective of its query-specific relevance. To address this, we propose AdaMem, a relevance-guided soft-compression framework that maps learned passage-relevance estimates to a query-dependent allocation of a fixed memory-token budget. A shared query-conditioned compressor produces both continuous passage memories and relevance scores in a single pass; a deterministic allocation rule assigns more memory tokens to higher-scoring passages and can omit low-scoring ones. Across six open-domain QA benchmarks, AdaMem consistently outperforms OSCAR (the closely matched soft-compression baseline that uses uniform allocation) as well as other soft-compression methods at matched memory budgets. Under standard 16$\times$ compression, AdaMem improves sub-string match by up to 3.2 points (5.5%) over uniform allocation baseline, with an average relative gain of 3.4%; under aggressive 64$\times$ compression the average relative gain grows to 14.6%, with a maximum of 9.8 points (19.7%) on PopQA. AdaMem matches the answer quality of the uncompressed at up to 4$\times$ lower inference latency than full context baseline. AdaMem retains an efficiency profile comparable to the uniform-compression baseline, while achieving up to $4\times$ lower inference latency than full-context inference. Thus, relevance-guided memory allocation is particularly effective when retrieval pools are large and the available memory budget is tight.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、検索された証拠によって言語モデルを改善するが、多くの長いパスを処理することはコストがかかり、注意をそらす情報をもたらす可能性がある。
ソフト圧縮は、パスを生成前の連続メモリ埋め込みのコンパクトなシーケンスとしてエンコードすることで、この課題に対処する。
しかし、既存のメソッドは、クエリ固有の関連性に関係なく、保持された各パスに同じ数のメモリ埋め込みを割り当てる。
そこで本稿では,学習した通過関連度推定値を,メモリ使用予算のクエリ依存アロケーションにマッピングする,関連性誘導型ソフト圧縮フレームワークであるAdaMemを提案する。
共有クエリ条件圧縮機は、連続的なパスメモリと関連スコアの両方を単一のパスで生成し、決定論的割り当てルールは、より多くのメモリトークンを高階のパスに割り当て、低階のパスを省略することができる。
6つのオープンドメインQAベンチマークで、AdaMemはOSCAR(均一なアロケーションを使用する密に一致したソフト圧縮ベースライン)と、マッチしたメモリ予算における他のソフト圧縮メソッドを一貫して上回っている。
標準16$\times$圧縮では、AdaMemは均一なアロケーションベースラインに対して最大3.2ポイント (5.5%) のサブストリングマッチを改善し、平均相対利得は3.4%、アグレッシブ64$\times$圧縮では平均相対利得は14.6%、PopQAでは最大9.8ポイント (19.7%) となる。
AdaMemは、圧縮されていないレスポンスの品質を、フルコンテキストベースラインよりも4$\times$低い推論レイテンシで一致させる。
AdaMemは、一様圧縮ベースラインに匹敵する効率プロファイルを保持し、フルコンテキスト推論よりも最大4\times$低い推論レイテンシを実現している。
したがって、検索プールが大きく、利用可能なメモリ予算が厳しくなると、関連性誘導型メモリ割り当てが特に有効である。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - PReM: Learning What to Preserve and When to Refresh for Context Compression [24.88582494682977]
PReM(Preserve and Refresh Memory)は、長文推論のためのコンテキスト圧縮フレームワークである。
モデルの内部レイヤ単位のKVメモリとして長いコンテキストを維持し、何を保存するか、いつリフレッシュするかを学ぶ。
32Kのコンテキストでの実験では、PReMは16xと32xの圧縮において強いベースラインよりも優れていた。
論文 参考訳（メタデータ） (2026-07-15T19:46:10Z) - Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。
圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。
歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
論文 参考訳（メタデータ） (2026-06-05T17:16:21Z) - ElasticMem: Latent Memory as a Learnable Resource for LLM Agents [25.70415765824153]
ElasticMemは、メモリを弾性潜在リソースとして使用することを学ぶメモリ拡張LDMフレームワークである。
メモリ集約型QAとエンボディエージェント制御を対象とし, メモリスタイト上でのElasticMemの評価を行った。
論文 参考訳（メタデータ） (2026-05-29T00:34:40Z) - Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。
SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
論文 参考訳（メタデータ） (2026-05-08T15:40:40Z) - HybridKV: Hybrid KV Cache Compression for Efficient Multimodal Large Language Model Inference [23.016627145448467]
MLLM(Multimodal Large Language Models)は、テキスト、画像、ビデオに対する高度な統一推論である。
各ビジュアル入力は数千のトークンに拡張され、キャッシュはコンテキスト長と線形にスケールする。
一般的な解決策は、固定された予算の下で異なる粒度でキャッシュを圧縮することである。
相補的戦略を3段階に統合したハイブリッドKVキャッシュ圧縮フレームワークであるHybridKVを提案する。
論文 参考訳（メタデータ） (2026-04-07T13:51:07Z) - AHC: Meta-Learned Adaptive Compression for Continual Object Detection on Memory-Constrained Microcontrollers [0.14504054468850666]
100KB以下のメモリを持つマイクロコントローラ(MCU)上の連続物体検出には、効率的な特徴圧縮が必要である。
3つの重要なイノベーションを特徴とするメタラーニングフレームワークであるAdaptive Hierarchical Compression (AHC)を紹介する。
AHCは100KBのリプレイ予算内で実用的な連続的な検出を可能にし、平均プール圧縮された特徴リプレイによる競合精度を実現する。
論文 参考訳（メタデータ） (2026-02-24T07:06:51Z) - A Dynamic Retrieval-Augmented Generation System with Selective Memory and Remembrance [0.0]
Emph Adaptive RAG Memory (ARM) は,静的ベクトルインデックスをEmphdynamicメモリ基板に置き換える検索拡張生成(RAG)フレームワークである。
ARMは、軽量な検索ベンチマークで最先端のパフォーマンスに近づいた。
ARMは、ジェネレータカラーブラックを再トレーニングすることなく、競合精度、自己正規化メモリ成長、解釈可能な保持ダイナミクスを出力し、生産・研究RAGシステムの品質、レイテンシ、メモリ効率のトレードオフを実践する。
論文 参考訳（メタデータ） (2026-01-04T21:51:41Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳（メタデータ） (2025-02-06T04:16:20Z) - ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。
ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。
結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
論文 参考訳（メタデータ） (2025-02-01T03:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。