論文の概要: Training-Free Lexical-Dense Fusion for Conversational-Memory Retrieval
- arxiv url: http://arxiv.org/abs/2606.04194v1
- Date: Tue, 02 Jun 2026 20:22:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-04 20:44:18.371575
- Title: Training-Free Lexical-Dense Fusion for Conversational-Memory Retrieval
- Title(参考訳): 会話記憶検索のための無トレーニングレキシカルデンス融合法
- Authors: Christian Lysenstøen,
- Abstract要約: 新しいクエリに応答する過去数回を検索することは、長期的な会話メモリの背後にある検索ボトルネックである。
最近の研究であるNano-Memoryは、クエリターンの最大類似度によるセッションのスコアが平均プールされたセッションの埋め込みを上回っていることを示している。
私たちはそれを複製し、トレーニングなしのCPUのみの検索ステージに何を追加するべきかを尋ねます。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieving the few past turns that answer a new query across long multi-session histories is the retrieval bottleneck behind long-term conversational memory (LoCoMo, LongMemEval). Recent concurrent work, Nano-Memory, shows that scoring a session by the maximum query-turn similarity (late interaction, "Turn Isolation Retrieval") beats mean-pooled session embeddings. We do not claim that effect; we replicate it and ask what a training-free, CPU-only retrieval stage should add around it. We report four findings. (1) Fuse: score-level fusion of the late-interaction dense score with BM25, under a single leave-one-conversation-out weight, adds +8.8 to +17.2 points of LoCoMo Hit@1 over late interaction alone across six encoders (all p<1e-4), reaching Hit@1 0.752 / NDCG@5 0.829 (e5-large-v2), +11.2 pp over BM25. (2) An off-the-shelf web-search cross-encoder reranker over the fused top-10 hurts here, degrading Hit@1 by 6.9 pp (one reranker, one configuration). (3) A pooling-operator ablation shows top-k late interaction matches max-similarity, but a naive smooth-max (log-sum-exp) collapses for half the encoders. (4) The late-minus-early gap is large for all six encoders and tends to be larger for larger ones, while the marginal fusion gain shrinks; on LongMemEval-S, a lexical regime where BM25 saturates, the net fusion gain over BM25 is small and not significant. A per-category analysis frames the gain as a division of labor: dense late interaction helps most on multi-hop and temporal questions but trails BM25 on adversarial ones. The contribution is a controlled, reproducible account of a strong training-free retrieval recipe, not the late-interaction retriever itself (Nano-Memory's). We make no claim to a complete memory architecture; this is a retrieval-stage study.
- Abstract(参考訳): 長いマルチセッション履歴にまたがる新しいクエリに答える数回のターンを取得することは、長期会話メモリ(LoCoMo、LongMemEval)の検索ボトルネックである。
最近の並行処理であるNano-Memoryは、クエリターンの最大類似度(遅延相互作用、"Turn isolation Retrieval")でセッションのスコアが平均プールされたセッションの埋め込みを上回っていることを示している。
私たちはそれを複製し、トレーニングなしでCPUのみの検索ステージが追加すべきことを尋ねます。
我々は4つの発見を報告した。
1)Fuse: BM25との遅延相互作用密接度スコアのスコアレベル融合: 単独で1対1で1対17.2点のLoCoMo Hit@1を6エンコーダ(すべてp<1e-4)で単独で+8.8〜+17.2点加え、Hit@1 0.752 / NDCG@5 0.829 (e5-large-v2), +11.2 pp on BM25。
2) 既成のウェブ検索クロスエンコーダが融合したトップ10にリランカを配置し、Hit@1を6.9 ppで分解する(リランカは1つ、構成は1つ)。
(3) プーリング演算によるアブレーションでは、トップkの遅延相互作用は最大相似性に一致するが、半分のエンコーダでは単純スムーズマックス(log-sum-exp)が崩壊する。
(4)6つのエンコーダ全てに対して後期から後期のギャップは大きいが, 限界核融合の利得は小さくなる傾向にあり, BM25が飽和するLongMemEval-Sでは, BM25以上の純核融合の利得は小さく, 有意ではない。
密接な遅延相互作用は、マルチホップや時間的問題において最も役立ちますが、敵対的な問題ではBM25を追い越すのに役立ちます。
このコントリビューションは、遅延相互作用レトリバー自身(Nano-Memory's)ではなく、強力なトレーニング不要の検索レシピの、制御された再現可能な説明である。
私たちは完全なメモリアーキテクチャを主張していません。
関連論文リスト
- Don't Ask the LLM to Track Freshness: A Deterministic Recipe for Memory Conflict Resolution [0.0]
FC-SH (gpt-4o-mini) において, LLM-judgment 応答パイプラインを候補抽出に置き換え, Python max (serial) を +10.8 点とすることを示す。
レシピはFC-SH(gpt-4o-mini)では78.0%、FC-MH(gpt-4o-mini)では94.8%、FC-MH(gpt-4o-mini)では30.2%に達する。
論文 参考訳(メタデータ) (2026-05-31T20:13:43Z) - AgentIR: A Workload-Adaptive Cascade Retrieval Substrate for Long-Term Conversational Memory [1.8479558716666358]
Luceneクラスのエンジンはインデックスを静的として扱い、クエリをステートレスとして扱う。
カスケードルータはBM25のトップクマージンのみから決定され、再トレーニングせずにワークロードをまたがって再チューニングされる。
共有8コアVMのキャパシティは154から1,400のコンカレントエージェント(9倍)に向上する
論文 参考訳(メタデータ) (2026-05-24T14:14:13Z) - Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms [0.0]
CSTM-Benchは、キルチェーンステージとクロスセッション操作によって分類された26の実行可能な攻撃である。
Hugging FaceでIntrinsec-ai/cstm-benchとしてリリースされた。
論文 参考訳(メタデータ) (2026-04-22T22:40:31Z) - Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳(メタデータ) (2026-02-26T11:08:39Z) - Domain-Adaptive and Scalable Dense Retrieval for Content-Based Recommendation [0.0]
本稿では,Amazon Reviews 2023 (Fashion) サブセットを微調整した2-towerバイエンコーダをベースとした,スケーラブルな高密度検索システムを提案する。
我々は、レビューテキスト(クエリプロキシとして)とアイテムメタデータ(ポジティブドキュメントとして)からトレーニングペアを構築し、500トークンの最大シーケンス長で50,000のサンプルインタラクションを微調整する。
826,402のカタログ項目に対するレビュー・ツー・タイトルのベンチマークでは、Recall@10が0.26(BM25)から0.66に改善されました。
論文 参考訳(メタデータ) (2026-01-31T20:58:23Z) - CourseTimeQA: A Lecture-Video Benchmark and a Latency-Constrained Cross-Modal Fusion Method for Timestamped QA [3.0867286767516937]
自然言語クエリが与えられたら、システムは関連するタイムスタンプのセグメントを検索し、接地された回答を合成する。
本稿では,CourseTimeQA (52.3 h, 902 querys across six courses) と,軽量で遅延に制約のあるクロスモーダルレトリバー (CrossFusion-RAG) を提案する。
CourseTimeQAでは、CrossFusion-RAGがnDCG@10を0.10、MRRを0.08、強力なBLIP-2レトリバーを0.55s、一方のA100上では1.55sのエンドツーエンドレイテンシを実現している。
論文 参考訳(メタデータ) (2025-11-29T07:06:51Z) - MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning [73.27233666920618]
本稿では,メモリを反復的に保持し,現在のターンと組み合わせたエージェントワークフローであるMemSearcherを提案する。
それぞれのターンで、MemSearcherはユーザーの質問をメモリに融合させ、推論トレースを生成し、検索アクションを実行し、メモリを更新してタスクの解決に必要な情報のみを保持する。
我々は,MemSearcher Agents の推論,検索戦略,メモリ管理を協調的に最適化する,エンドツーエンドの RL フレームワークである Multi-context GRPO を紹介する。
論文 参考訳(メタデータ) (2025-11-04T18:27:39Z) - Squeezed Attention: Accelerating Long Context Length LLM Inference [61.787865959140994]
本稿では,入力コンテキストの大部分を固定したアプリケーションを高速化するために,Squeezed Attentionを提案する。
推論中、ユーザ入力からのクエリトークンとセントロイドを比較し、固定されたコンテキストからどのキーが意味論的に関連しているかを予測する。
また,線形から対数的への注意の複雑さを,固定した文脈長に対して低減できる階層型アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-11-14T18:54:19Z) - Efficient k-NN Search with Cross-Encoders using Adaptive Multi-Round CUR
Decomposition [77.4863142882136]
クロスエンコーダモデルは、直接k-nearest neighbor(k-NN)サーチには不当に高価である。
本稿では,現実的に重要なトップk近傍の近似誤差を適応的に,反復的に,効率的に最小化するADACURを提案する。
論文 参考訳(メタデータ) (2023-05-04T17:01:17Z) - Improving Dual-Encoder Training through Dynamic Indexes for Negative
Mining [61.09807522366773]
本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。
我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
論文 参考訳(メタデータ) (2023-03-27T15:18:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。