論文の概要: SALT: Salience-Aware Lexical Trie for Long-Context Compression

• arxiv url: http://arxiv.org/abs/2607.17486v1
• Date: Mon, 20 Jul 2026 02:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.479021
• Title: SALT: Salience-Aware Lexical Trie for Long-Context Compression
• Title（参考訳）: SALT:長期圧縮のためのSalience-Aware Lexical Trie
• Abstract要約: 本稿では,文単位のキーワードを文頻度で順序づけられたトリエに整理するモデルに依存しない抽出フレームワークを提案する。 このトリエベースの組織は、メモリ割り当てを円滑にし、主要なテーマが予算を独占することを防ぐ。 文書のテーマを保存することで、SALTはKV-cacheメソッドで構成可能でありながら、長文プロンプトのプリフィルとメモリコストを削減できる。
• 参考スコア（独自算出の注目度）: 15.521483819892298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) process increasingly longer prompts, computation and KV-cache memory costs have emerged as major bottlenecks in inference systems. Existing input-level prompt compression methods address this, but rank each sentence by a scalar relevance score, treating the document as an unstructured pool of words and sentences. Under tight budgets, this causes theme collapse, where the dominant theme(s) of a document consumes the budget, discarding less-frequent yet task-relevant themes. Preserving thematic coverage instead requires allocating the budget across recurring themes rather than scoring sentences in isolation. To this end, we propose SALT, a model-agnostic extractive framework that organizes per-sentence keywords into a trie ordered by sentence frequency (SF), a lightweight, reusable proxy for document thematic structure. This trie-based organization smooths memory allocation and prevents dominant themes from monopolizing the budget. Multi-anchor retrieval activates trie nodes labeled by query keywords at any depth, and the trie persists across dialogue turns, supporting multi-turn use without re-encoding the document. By preserving document themes, SALT reduces the prefill computation and memory cost of long-context prompts while remaining composable with KV-cache methods that target decoding-time latency and memory.
• Abstract（参考訳）: 大規模言語モデル(LLM)プロセスのプロンプトがますます長くなるにつれて、計算とKVキャッシュメモリコストが推論システムにおける主要なボトルネックとして現れてきた。 既存の入力レベルのプロンプト圧縮手法はこれに対処するが、各文をスカラー関連スコアでランク付けし、文書を非構造化の単語と文のプールとして扱う。 厳格な予算の下では、これはテーマ崩壊を引き起こし、文書の主流のテーマが予算を消費し、より頻度の低いタスク関連テーマを破棄する。 テーマのカバレッジを保持するには、単独で文章を採点するのではなく、繰り返しテーマに予算を割り当てる必要がある。 そこで本研究では,文頻度(SF)で順序付けられたトリエに文ごとのキーワードを整理するモデルに依存しない抽出フレームワークSALTを提案し,文書テーマ構造のための軽量で再利用可能なプロキシを提案する。 このトリエベースの組織は、メモリ割り当てを円滑にし、主要なテーマが予算を独占することを防ぐ。 マルチアンカー検索は、クエリキーワードでラベル付けされたトリエノードを任意の深さで活性化し、トリエは対話のターンをまたいで持続し、文書を再エンコードすることなくマルチターンの使用をサポートする。 文書のテーマを保存することで、SALTは長いコンテキストプロンプトのプリフィル計算とメモリコストを削減し、デコード時のレイテンシとメモリをターゲットとするKV-cacheメソッドで構成できる。

関連論文リスト

• Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
  Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
  論文  参考訳（メタデータ） (2026-06-22T17:31:02Z)
• Meta-Soft: Leveraging Composable Meta-Tokens for Context-Preserving KV Cache Compression [12.589754555104768]
  大規模言語モデルで使用されるKVキャッシュは、線形的に時間の複雑さが増大する。 現在のKVキャッシュ消去法は、KVペアの重要性を評価するためにクエリとして静的パラメータセットに依存している。 本稿では,プローブ駆動型コンテキスト統合に基づく動的圧縮フレームワークMeta-Softを提案する。
  論文  参考訳（メタデータ） (2026-05-21T11:24:46Z)
• Rethinking How to Remember: Beyond Atomic Facts in Lifelong LLM Agent Memory [88.81430082035617]
  LLMエージェントは、蓄積された対話履歴を忠実に保存し、効率的に検索し、深く推論できるメモリシステムを必要とする。 本稿では,ソース識別子に固定された生の対話セグメントを含む3つの共存表現の粒度を格納するTriMemを提案する。
  論文  参考訳（メタデータ） (2026-05-19T15:05:06Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval [58.575695990976136]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて優れたパフォーマンスを示している。 LLMは、最終的な答えに到達する前に、長い中間的思考を生成する必要があることが多い。 我々は,LLMが動詞の推論思考を要約に適応的に圧縮することを可能にする新しいアプローチであるZoomRを紹介する。
  論文  参考訳（メタデータ） (2026-04-13T02:00:35Z)
• Multi-Vector Index Compression in Any Modality [73.7330345057813]
  後期の相互作用は、テキスト、画像、ビジュアルドキュメント、ビデオにおける情報検索の主要なパラダイムとして現れてきた。 インデックス圧縮には,シーケンスリサイズ,メモリトークン,階層プール,新しいアテンション誘導クラスタリング(AGC)の4つのアプローチを導入する。 AGCは、ドキュメントの最もセマンティックな領域をクラスタセントロイドとして識別し、トークンの集合を重み付けするために注意誘導機構を使用する。
  論文  参考訳（メタデータ） (2026-02-24T18:57:33Z)
• Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation [22.803751188961865]
  検索は類似性マッチングを超えて移動し、代わりに潜在コンポーネントを操作するべきだと我々は主張する。 我々は、無傷ユニットの階層を構築し、検索可能な高レベルノード組織を維持するxMemoryを提案する。
  論文  参考訳（メタデータ） (2026-02-02T12:04:58Z)
• MemOCR: Layout-Aware Visual Memory for Efficient Long-Horizon Reasoning [36.52465672754168]
  本稿では,コンテキスト予算の厳しい長期推論を改善するマルチモーダルメモリエージェントであるMemOCRを紹介する。 MemOCRは、視覚的レイアウトを通じて適応的な情報密度でメモリ空間を割り当てる。 我々は,多種多様な圧縮レベルにエージェントを露出する予算対応目標の下で,強化学習でMemOCRを訓練する。
  論文  参考訳（メタデータ） (2026-01-29T09:47:17Z)
• Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings [52.49524240846879]
  本稿では,注目レベルの圧縮と読み出しレベルのオーバーシャッシングを緩和する階層型トークンプレッペンディングを提案する。 HTPは、入力をブロックに分割し、ブロックレベルの要約トークンをその後のブロックにプリペンドし、後方情報フローの経路を作成する。 シンプルなアーキテクチャに依存しない方法として、HTPはゼロショットモデルと微調整モデルの両方を強化し、優れた長期文書埋め込みへのスケーラブルなルートを提供する。
  論文  参考訳（メタデータ） (2025-11-18T19:37:40Z)
• $A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving [42.02864241423696]
  大きな言語モデル(LLM)は、長いコンテキストを処理する上で強力な能力を示している。 長いシーケンスを処理できるにもかかわらず、結果としてデコーディングのレイテンシとメモリオーバーヘッドは大きいままである。 KVキャッシュの再利用の最近の進歩は、これらのコストを軽減する可能性を示しているが、それでも顕著なパフォーマンス劣化に悩まされている。
  論文  参考訳（メタデータ） (2025-11-13T07:28:59Z)
• Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity [24.118503938098307]
  textscPoDはトークンの重要度に応じてメモリを割り当てる。 textscPoDは、パフォーマンスを損なうことなく、KVキャッシュメモリ使用量を最大35%削減する。
  論文  参考訳（メタデータ） (2024-12-03T08:29:27Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。