論文の概要: CRIM: Composable and Reusable Item Memory for Efficient Personalized Retrieval
- arxiv url: http://arxiv.org/abs/2610.35323v1
- Date: Mon, 26 Oct 2026 12:21:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.919097
- Title: CRIM: Composable and Reusable Item Memory for Efficient Personalized Retrieval
- Title(参考訳): CRIM: 効率的なパーソナライズされた検索のための構成可能で再利用可能なアイテムメモリ
- Abstract要約: 大規模言語モデルは、パーソナライズされた検索とレコメンデーションにおいて、かなりのトレーニングと推論コストをもたらす。
textbfComposable と textbfReusable textbfItem textbfMemory (CRIM) を提案する。
- 参考スコア(独自算出の注目度): 16.815958032930805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models incur substantial training and inference costs in personalized search and recommendation, as growing interaction histories lengthen request inputs and repeatedly expose the same item text to the model. We propose \textbf{C}omposable and \textbf{R}eusable \textbf{I}tem \textbf{M}emory (CRIM), a framework that separates item-level semantic encoding from request-level history modeling. A small set of learnable summary tokens compresses each item into compact continuous memories, while segment-level readout tokens (REC tokens) introduce predictive supervision within the interaction history. These memories are independent of users and queries and can therefore be reused across requests. At inference time, CRIM composes cached memories in interaction order and incorporates an optional query to produce a personalized retrieval representation, reducing repeated item-text encoding while retaining request-dependent contextual modeling. We further introduce a joint training mechanism that combines cached memories with sampled live re-encoding. Re-encoding only a few history items per request allows the retrieval objective to jointly optimize the item and request encoders at limited computational cost, while periodic cache refreshes maintain consistency. Extensive evaluation and cost analysis on MovieLens-1M, Qilin, and our new LazSeq dataset show that CRIM achieves state-of-the-art retrieval performance with substantially lower inference costs at the same backbone scale, while limiting item re-encoding during joint training. We will publicly release our code and dataset.
- Abstract(参考訳): 対話履歴の増大が要求の入力を長くし、同じ項目のテキストをモデルに繰り返し公開することにより、大規模言語モデルはパーソナライズされた検索とレコメンデーションにおいて、かなりのトレーニングと推論コストを発生させる。
本稿では,要求レベルの履歴モデリングからアイテムレベルのセマンティックエンコーディングを分離するフレームワークである,‘textbf{C}omposable and \textbf{R}eusable \textbf{I}tem \textbf{M}emory(CRIM)を提案する。
学習可能な要約トークンの小さなセットは、各項目をコンパクトな連続記憶に圧縮する一方、セグメントレベルの読み出しトークン(RECトークン)は相互作用履歴内の予測監督を導入する。
これらのメモリはユーザやクエリとは独立しており、リクエスト間で再利用することができる。
推論時に、CRIMはキャッシュされたメモリを相互作用順に構成し、任意のクエリを組み込んでパーソナライズされた検索表現を生成し、リクエスト依存のコンテキストモデリングを維持しながら繰り返しアイテムテキストエンコーディングを削減する。
さらに,キャッシュメモリとサンプルライブ再符号化を組み合わせた共同学習機構を導入する。
リクエスト毎の履歴項目のみを再エンコードすることで、検索対象がアイテムを共同で最適化し、計算コストに制限のあるエンコーダを要求できる一方で、定期的なキャッシュリフレッシュでは一貫性が維持される。
MovieLens-1M, Qilin, および我々の新しいLazSeqデータセットの大規模評価とコスト分析により, CRIMは, 共同トレーニング中の項目再符号化を制限しつつ, 同じバックボーンスケールでの推論コストを大幅に低減して, 最先端の検索性能を達成することを示した。
コードとデータセットを公開します。
関連論文リスト
- Parametric Session States Recover Retrieval Intent without Replaying History [42.82614522980862]
長期にわたるアシスタントは、参照者、制約、アクティブな目標が以前に何度も確立されたフォローアップリクエストを解釈することが多い。
emphParametric Session State (method)は,現実的な知識を外部に保持しつつ,検索対象を記憶する再利用可能なセッションメモリレイヤである。
論文 参考訳(メタデータ) (2026-10-17T05:07:32Z) - Persistent Context Graphs for Efficient Memory Compaction in LLM Agents [36.77935189537971]
既存の方法は履歴を要約するか、KVキャッシュを圧縮する。
ReCAPは注目に起因した重要度スコアと依存関係のリンクを、軽量で永続的なコンテキストグラフに格納する。
Codexのデフォルトの要約ベースの圧縮と比較すると、ReCAPは圧縮と低温回復の予測遅延を約95%削減する。
論文 参考訳(メタデータ) (2026-09-30T16:43:28Z) - Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳(メタデータ) (2026-09-23T03:23:34Z) - What It Costs to Compose, Rebuild, and Correct Precomputed Memory [0.0]
言語モデルは、あらかじめ計算されたメモリ、モデルが保存した素材の読み出しから答えることができる。
本論文は、その実践が正しさと失敗する条件をどこに保存するかを図示する。
論文 参考訳(メタデータ) (2026-08-31T11:49:42Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - RCEM: Embedder Equipped with Query Rewriting Skill for Robust Conversational Search in Distributional Shift [7.4048532358172245]
本稿では,LLMの問合せ変換能力を埋込みモデルに蒸留する,対話型高密度検索モデルRCEMを提案する。
直接の会話と文書のマッチングを学習する従来の会話の密集した検索手法とは異なり、RCEMは会話クエリの埋め込みと書き直しクエリの埋め込みを整列する。
QReCC、TopiOCQA、TREC CAsTの実験は、RCEMが強い会話検索ベースラインを一貫して上回ることを示した。
論文 参考訳(メタデータ) (2026-06-01T05:04:17Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳(メタデータ) (2026-04-25T17:38:51Z) - SCM: Enhancing Large Language Model with Self-Controlled Memory Framework [54.33686574304374]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-26T07:25:31Z) - Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。
我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-05-24T11:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。