論文の概要: Beyond Compressing Everything: Contrastive Memory Learning for Selective Context Compression
- arxiv url: http://arxiv.org/abs/2611.16384v1
- Date: Thu, 12 Nov 2026 06:51:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.381362
- Title: Beyond Compressing Everything: Contrastive Memory Learning for Selective Context Compression
- Title(参考訳): すべてを圧縮する以上の - 選択的コンテキスト圧縮のためのコントラストメモリ学習
- Abstract要約: 文書とクエリの両方で条件付きメモリ表現を学習するクエリ誘導選択型コンテキスト圧縮フレームワークを提案する。
CoMemは、質問応答とRULER-NIAHベンチマークの圧縮比で、既存の文脈圧縮手法を一貫して上回っている。
- 参考スコア(独自算出の注目度): 62.73986785138987
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) advance toward increasingly long inputs, soft context compression offers a promising approach to efficient inference by converting long inputs into compact memory slots. Under limited memory budgets, effective context compression remains challenging because task-relevant evidence varies substantially across queries, ranging from localized evidence to multiple distant spans or information dispersed throughout the full document. Instead of compressing everything indiscriminately, we propose CoMem, a query-guided selective context compression framework that learns memory representations conditioned on both the document and the query. CoMem develops Contrastive Compressor Learning to achieve query-sensitive yet context-preserving memory representations. To inject a strong prior over query-dependent evidence distributions, we devise a same-context hard negative mining strategy by pairing a single document with multiple queries, requiring the compressor to selectively retain information according to each query's distinct evidence needs. To address the restricted information flow imposed by causal masking, we further enable bidirectional attention among memory slots. Experiments demonstrate that CoMem consistently outperforms existing context compression methods across compression ratios on question answering and RULER-NIAH benchmarks. Our code is available at https://github.com/scar-on/CoMem.
- Abstract(参考訳): 大規模言語モデル(LLM)がますます長い入力に向かって進むにつれて、ソフトコンテキスト圧縮は、長い入力をコンパクトなメモリスロットに変換することで、効率的な推論に有望なアプローチを提供する。
タスク関連エビデンス(タスク関連エビデンス)は、局所的なエビデンスから、複数のリモートスパン、あるいはフルドキュメント全体に分散した情報まで、クエリによって大きく異なるため、メモリ予算の制限下では、効果的なコンテキスト圧縮は依然として困難である。
文書とクエリの両方で条件付きメモリ表現を学習するクエリ誘導選択コンテキスト圧縮フレームワークであるCoMemを提案する。
CoMem は Contrastive Compressor Learning を開発した。
クエリ依存型エビデンス分布に強い先行性を与えるため,複数のクエリと1つのドキュメントをペアにすることで,各クエリの異なるエビデンス要求に応じて情報を選択的に保持する必要のある,同じコンテキストのハードネガティブマイニング戦略を考案した。
因果マスキングによって引き起こされる制限された情報の流れに対処するため、メモリスロット間の双方向の注意をさらに高める。
実験により、CoMemは質問応答とRULER-NIAHベンチマークの圧縮比で既存の文脈圧縮手法を一貫して上回っていることが示された。
私たちのコードはhttps://github.com/scar-on/CoMem.comで利用可能です。
関連論文リスト
- SeDeM: Selective Decompression of Hidden-State Memories for Long-Context Question Answering [44.06365338975172]
SeDeMは、デコーダコンディショニングからコンパクトメモリストレージを分離する選択的なデ圧縮フレームワークである。
4つの長文QAベンチマークにおいて、SeDeMは評価された圧縮ベースラインよりも高いQAスコアを達成する。
論文 参考訳(メタデータ) (2026-07-31T21:44:03Z) - PReM: Learning What to Preserve and When to Refresh for Context Compression [24.88582494682977]
PReM(Preserve and Refresh Memory)は、長文推論のためのコンテキスト圧縮フレームワークである。
モデルの内部レイヤ単位のKVメモリとして長いコンテキストを維持し、何を保存するか、いつリフレッシュするかを学ぶ。
32Kのコンテキストでの実験では、PReMは16xと32xの圧縮において強いベースラインよりも優れていた。
論文 参考訳(メタデータ) (2026-07-15T19:46:10Z) - Multi-Vector Index Compression in Any Modality [73.7330345057813]
後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。
インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。
AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
論文 参考訳(メタデータ) (2026-02-24T18:57:33Z) - Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。
本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。
クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。
これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
論文 参考訳(メタデータ) (2026-02-12T18:15:08Z) - Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning [47.87361916374891]
本稿では,チャンクワイズ圧縮と選択的メモリリコールに基づく,効率的な長文推論のためのフレームワークを提案する。
このフレームワークは、長い入力をチャンクに分割し、各チャンクを学習圧縮機を用いて圧縮されたメモリ表現に符号化する。
ピークGPUメモリ使用量の最大2倍の削減と,MemAgent上での6倍の推論高速化を実現している。
論文 参考訳(メタデータ) (2026-02-09T08:33:11Z) - Goal-Directed Search Outperforms Goal-Agnostic Memory Compression in Long-Context Memory Tasks [2.7708222692419735]
大規模言語モデル(LLM)において、ヒューマンライクな長期記憶を有効にする方法が重要な問題となっている。
検証可能な報酬(RLVR)を有するエンドツーエンド強化学習エージェントであるSUMERを提案する。
実データに適用した単純な探索手法は、現在の長文メモリタスクにおいて、ゴールに依存しない圧縮アルゴリズムやバイアスのある圧縮アルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-11-20T22:45:57Z) - Compressing Many-Shots in In-Context Learning [61.231471139896506]
マルチショットプロンプトを圧縮することにより,ICL推論のメモリと計算効率を向上させる手法を提案する。
まず,既存のプロンプト圧縮手法がマルチショット圧縮には有効でないことを示す。
本稿では,レイヤワイド圧縮手法であるMemComを提案する。
論文 参考訳(メタデータ) (2025-10-17T16:57:42Z) - UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression [86.33995240043936]
UniGistは、大規模言語モデルのためのシーケンスレベルのロングコンテキスト圧縮フレームワークである。
生のトークンを特別な圧縮トークン(gist)に微粒な方法で置き換えることで、コンテキスト情報を効率的に保存する。
提案手法は,圧縮トークンの実際の除去を可能にすることで,フレキシブルな推論もサポートしている。
論文 参考訳(メタデータ) (2025-09-19T08:47:37Z) - AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models [15.887617654762629]
ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。
本稿では,クエリの複雑さと検索品質の両面から圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。
論文 参考訳(メタデータ) (2024-09-03T03:25:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。