論文の概要: Spectral Retrieval: Multi-Scale Sinc Convolution over Token Embeddings for Localized Retrieval in LLM Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2605.24764v1
- Date: Sat, 23 May 2026 22:50:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:18.373033
- Title: Spectral Retrieval: Multi-Scale Sinc Convolution over Token Embeddings for Localized Retrieval in LLM Multi-Agent Systems
- Title（参考訳）: スペクトル検索:LLMマルチエージェントシステムにおける局所検索のためのトークン埋め込み上のマルチスケールシンク畳み込み
- Authors: Andrea Morandi,
- Abstract要約: Spectral Retrievalは、遅延相互作用インデックスからトーケン毎の埋め込みを再利用し、複数のスケールで正常化されたシンクカーネルと結合する。
位置とスケールに対する最大コサインは、いずれのエンドポイントよりも確実に情報的である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: [Abridged] - Spectral Retrieval is a plug-in re-ranking stage that interpolates between per-token MaxSim and mean-pool retrieval through a multi-scale sinc convolution over token embeddings. In standard dense retrieval each document is one mean-pooled vector; when relevance localises into a short subspan, the signal averages into noise. Spectral Retrieval reuses per-token embeddings from a late-interaction index and convolves them with a normalised sinc kernel at multiple scales. At L=1 the kernel acts as the identity, recovering per-token MaxSim; as L grows it approaches a uniform filter, recovering mean pooling. The maximum cosine over positions and scales yields a score provably no less informative than either endpoint. On a controlled synthetic benchmark with 1,000 documents and planted single-position spikes, mean-pool retrieval sits at chance (Recall@10 ~ 0.02) regardless of spike strength, while Spectral Retrieval reaches Recall@10 = 1.0 once the planted cosine exceeds the corpus-level token noise floor. On LIMIT-small with a frozen all-mpnet-base-v2 encoder, Spectral Retrieval lifts Recall@10 from 0.33 to 0.90, MRR from 0.22 to 0.79, and strict Success@10 from 0.12 to 0.84, without retraining. The method fits naturally into multi-agent LLM systems, where each agent benefits from a tighter, role-specific retrieval window over a shared corpus.
- Abstract（参考訳）: [Abridged] - Spectral Retrievalは、トークン埋め込み上のマルチスケールのシンク畳み込みを通じて、トークンごとのMaxSimと平均プール検索を補間するプラグインリグレードステージである。
標準的な高密度検索では、各文書は1つの平均プールベクトルであり、関連性が短いサブスパンにローカライズされると、信号の平均はノイズになる。
Spectral Retrievalは、遅延相互作用インデックスからトーケン毎の埋め込みを再利用し、複数のスケールで正常化されたシンクカーネルと結合する。
L=1では、カーネルはアイデンティティとして機能し、トークンごとのMaxSimを回復する。
位置とスケールに対する最大コサインは、いずれのエンドポイントよりも確実に情報的である。
1000の文書と植込みシングルポジションスパイクによる制御された総合ベンチマークでは、平均プールの検索はスパイクの強さに関わらず偶然に(Recall@10 ~ 0.02)、一方、スペクトル検索はコーパスレベルのトークンノイズフロアを超えるとRecall@10 = 1.0に達する。
凍った全mpnet-base-v2エンコーダを持つLIMIT-smallでは、Spectral RetrievalがRecall@10を0.33から0.90に、MRRを0.22から0.79に、Success@10を0.12から0.84に、再トレーニングすることなく持ち上げる。
この方法は自然にマルチエージェントLLMシステムに適合し、各エージェントは共有コーパス上のより厳密なロール固有検索ウィンドウから恩恵を受ける。
関連論文リスト
- Lightweight Vulnerability Detection from Code Metrics and Token Features [0.0]
このプリプリントは、生の関数テキストからのスパーストークンn-gramと安価なコードメトリクスの小さなセットを組み合わせた軽量な関数レベルの脆弱性トリアージパイプラインについて研究する。
以上の結果から, 単純トークンとメートル法の特徴は, 透過的ベースラインとして有用であるが, 表面の語彙的手がかりに敏感であり, クロスプロジェクト移動が限定的であることが示唆された。
論文 参考訳（メタデータ） (2026-05-05T19:51:46Z) - TimingLLM: A Two-Stage Retrieval-Augmented Framework for Pre-Synthesis Timing Prediction from Verilog [6.074441719058107]
TimingLLMは、Verilogから直接、最悪の負のスラック(WNS)と総負のスラック(TNS)を推定する検索拡張LLMパイプラインである。
VerilogEval では、TimingLLM は R_WNS = 0.91 (MAPE 12%) と R_TNS=.97 (MAPE 16%) を獲得し、従来のメソッドよりも 1.3-1.6 倍高速である。
論文 参考訳（メタデータ） (2026-04-26T08:29:20Z) - Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms [0.0]
CSTM-Benchは、キルチェーンステージとクロスセッション操作によって分類された26の実行可能な攻撃である。
Hugging FaceでIntrinsec-ai/cstm-benchとしてリリースされた。
論文 参考訳（メタデータ） (2026-04-22T22:40:31Z) - FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。
H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。
エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
論文 参考訳（メタデータ） (2026-03-16T19:37:08Z) - Quantum Reservoir Autoencoder for Blind Decryption: Two-Phase Protocol and Noise Resilience [0.0]
リセットノイズチャンネルを用いたノイズ誘導型貯水池でQRA(Quantum Storage Autoencoder)をインスタンス化する。
10個のデータキュービットとランダムな(最適化されていない)リセット確率を持つ単一暗号文プロトコルでは、オープンシステム記憶器は10桁のショットノイズ感度を抑える。
論文 参考訳（メタデータ） (2026-03-12T07:05:46Z) - Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation [6.4453302264198165]
コード補完のためのリポジトリ表現のための2段階のアプローチである階層埋め込み融合(HEF)を提案する。
HEFはスニペットベースの検索ベースラインに匹敵する正確なマッチング精度を達成する。
グラフベースおよび反復検索システムと比較して、HEFは中央値のエンドツーエンドのレイテンシを13倍から26倍に削減する。
論文 参考訳（メタデータ） (2026-02-04T14:56:11Z) - LLM-guided Hierarchical Retrieval [54.73080745446999]
LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。
LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。
我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-10-15T07:05:17Z) - Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。
11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文 参考訳（メタデータ） (2025-02-02T13:10:06Z) - Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。
NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。
さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文 参考訳（メタデータ） (2024-05-29T17:55:03Z) - Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control [66.78146440275093]
学習検索(LSR)は、クエリとドキュメントを疎語彙ベクトルにエンコードするニューラルネットワークのファミリーである。
テキスト画像検索に焦点をあて,マルチモーダル領域へのLSRの適用について検討する。
LexLIPやSTAIRのような現在のアプローチでは、大規模なデータセットで複雑なマルチステップのトレーニングが必要です。
提案手法は, 密度ベクトルを凍結密度モデルからスパース語彙ベクトルへ効率的に変換する。
論文 参考訳（メタデータ） (2024-02-27T14:21:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。