論文の概要: Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision

• arxiv url: http://arxiv.org/abs/2610.21877v1
• Date: Thu, 15 Oct 2026 13:44:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.093201
• Title: Aligning LLMs with Sparse Retrieval via Adaptive Sparse Supervision
• Title（参考訳）: 適応スパーススーパービジョンによるスパース検索付きLCMのアライメント
• Abstract要約: 大規模言語モデル(LLM)は強力なセマンティック表現を提供するが、その第1段階の検索への応用は、相当なレイテンシとストレージコストをもたらす。 入力適応型スパースアライメントを用いたLLMに基づくスパース検索フレームワークを提案する。 提案手法は,インデックスストレージを6.4倍,エンドツーエンドのクエリレイテンシを11倍に削減し,有効性と効率のトレードオフを実現する。
• 参考スコア（独自算出の注目度）: 18.652632514778414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large language models (LLMs) offer strong semantic representations, their application to first-stage retrieval incurs substantial latency and storage costs. Neural sparse retrievers such as SPLADE provide efficient retrieval but rely on relatively compact encoders with limited representational capacity. To bridge this gap, we propose an LLM-based sparse retrieval framework with input-adaptive sparse alignment. Specifically, we introduce a dynamic $α$-truncation strategy that selects input-specific supervision supports based on the cumulative activation mass of SPLADE representations. This strategy guides the LLM to preserve salient lexical signals while suppressing less informative activations, without relying on a fixed support budget. Subsequent retrieval fine-tuning combines contrastive learning, knowledge distillation, and sparsity regularization to improve retrieval effectiveness. Experiments on MS MARCO and six selected BEIR datasets demonstrate improvements over SPLADE++ while maintaining competitive effectiveness against LLM-based sparse retrievers. Compared with Lion-sp, our method reduces index storage by 6.4-fold and end-to-end query latency by over 11-fold, achieving a favorable effectiveness-efficiency trade-off.
• Abstract（参考訳）: 大規模言語モデル(LLM)は強力なセマンティック表現を提供するが、第1段階の検索への応用は、相当なレイテンシとストレージコストをもたらす。 SPLADEのようなニューラルスパースレトリバーは効率的な検索を提供するが、表現能力に制限のある比較的コンパクトなエンコーダに依存している。 このギャップを埋めるために,入力適応的なスパースアライメントを備えたLLMベースのスパース検索フレームワークを提案する。 具体的には、SPLADE表現の累積アクティベーション質量に基づいて、入力固有の監視支援を選択する、動的な$α$-truncation戦略を導入する。 この戦略は、固定的な支援予算に頼ることなく、情報伝達の少ない活性化を抑えつつ、LLMの健全な語彙信号の保存を誘導する。 その後の検索微調整は、比較学習、知識蒸留、空間正規化を組み合わせて、検索効率を向上させる。 MS MARCOと6つの選択されたBEIRデータセットの実験では、SPLADE++よりも改善され、LSMベースのスパースレトリバーとの競合効率が維持されている。 Lion-spと比較して、インデックスストレージを6.4倍、エンドツーエンドのクエリレイテンシを11倍に削減し、有効性と効率のトレードオフを実現する。

関連論文リスト

• Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval [5.8126764416418375]
  本稿では,適応戦略の相乗効果によるモデル空間幅の最適化手法を提案する。 提案手法は,検索待ち時間を大幅に短縮し,ストレージコストを低減し,高い競争性を維持する。
  論文  参考訳（メタデータ） (2026-10-01T23:07:33Z)
• Aligning Dense Retrievers with LLM Utility via DistillationAligning Dense Retrievers with LLM Utility via Distillation [13.439895359551853]
  UAE(Utility-Aligned Embeddings)は、検索と生成ユーティリティを統合するためのフレームワークである。 UAEは検索リコール@1を30.59%改善し、MAPを30.16%、Token F1を17.3%改善した。 UAEは、競争性能を維持する効率的なLLM再分類法よりも180倍以上高速である。
  論文  参考訳（メタデータ） (2026-04-24T17:18:56Z)
• Making Large Language Models Efficient Dense Retrievers [24.74245913953312]
  EffiRは、粗大な戦略を通じて大規模圧縮を行う効率的なレトリバーを開発するためのフレームワークである。 EffiRは、フルサイズのモデルの性能を維持しながら、モデルサイズと推論コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-12-23T18:58:25Z)
• LLMs as Sparse Retrievers:A Framework for First-Stage Product Search [103.70006474544364]
  プロダクト検索は、現代のeコマースプラットフォームにおいて重要な要素であり、毎日何十億ものユーザークエリがある。 スパース検索法は語彙ミスマッチの問題に悩まされ, 製品検索のシナリオにおいて, 最適以下の性能が向上する。 セマンティック分析の可能性により、大言語モデル(LLM)は語彙ミスマッチ問題を緩和するための有望な道を提供する。 本稿では,SParsE Retrievers として LLM を利用した製品検索フレームワーク PROSPER を提案する。
  論文  参考訳（メタデータ） (2025-10-21T11:13:21Z)
• GainRAG: Preference Alignment in Retrieval-Augmented Generation through Gain Signal Synthesis [30.185213495829164]
  Retrieval-Augmented Generation (RAG)フレームワークは、検索モジュールを導入し、検索された情報を大きな言語モデル(LLM)の入力コンテキストに動的に注入する。 提案手法は,入力パスが正しい出力にどの程度寄与するかを計測する新たな指標である「ゲイン」を定義することで,レトリバーとLLMの好みを整合させる新しい手法であるGainRAGを提案する。 実験結果はGainRAGの有効性を6つのデータセットで検証した。
  論文  参考訳（メタデータ） (2025-05-24T14:14:57Z)
• LLM-Independent Adaptive RAG: Let the Question Speak for Itself [47.60917219813637]
  大型言語モデル (LLM) は幻覚を起こす傾向があり、検索型拡張生成 (RAG) がこれを助けているが、誤報のリスクが高い計算コストが高い。 本研究では,外部情報に基づく軽量LLM非依存適応検索手法を提案する。
  論文  参考訳（メタデータ） (2025-05-07T08:58:52Z)
• Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
  LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
  論文  参考訳（メタデータ） (2024-08-11T02:31:13Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [68.29746557968107]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。