論文の概要: Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval

• arxiv url: http://arxiv.org/abs/2610.02572v1
• Date: Thu, 01 Oct 2026 23:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.120503
• Title: Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval
• Title（参考訳）: 学習可能なソフトトップKと時間単位閾値を用いた効率的な検索のための適応的スパシティ最適化
• Abstract要約: 本稿では,適応戦略の相乗効果によるモデル空間幅の最適化手法を提案する。 提案手法は,検索待ち時間を大幅に短縮し,ストレージコストを低減し,高い競争性を維持する。
• 参考スコア（独自算出の注目度）: 5.8126764416418375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on neural sparse retrieval has demonstrated strong relevance by leveraging Large Language Models (LLMs) for semantic term expansion. However, learned models paired with previous sparsification techniques still yield overly long document and query vectors partly due to a large LLM vocabulary, imposing a serious challenge to retrieval time and space efficiency. This paper proposes a scheme for optimizing model sparsity through a synergy of adaptive strategies, including learnable soft top-K, per-term thresholding, and FLOPs regularization to increase the sparsity of query and document vectors. Experimental results with Lion-SP model on the MS MARCO and BEIR datasets demonstrate that the proposed scheme can outperform the baselines by significantly reducing the average query and document lengths. Our scheme can achieve much shorter retrieval latency and lower storage cost while maintaining highly competitive relevance.
• Abstract（参考訳）: ニューラルスパース検索に関する最近の研究は、意味的項展開にLarge Language Models (LLMs)を活用することで、強い関連性を示している。 しかし、従来のスペーシフィケーション手法と組み合わせた学習モデルは、大きなLLM語彙のために、ドキュメントとクエリベクターが過大に長いままであり、検索時間と空間効率に深刻な課題を生んでいる。 本稿では, 学習可能なソフトトップK, 期間ごとのしきい値設定, FLOPs正規化など, 適応戦略の相乗効果により, モデルの疎さを最適化し, クエリやドキュメントベクトルの疎さを増大させる手法を提案する。 MARCOデータセットとBEIRデータセットのLion-SPモデルによる実験結果から,提案手法は平均クエリと文書長を大幅に削減することにより,ベースラインよりも優れていることが示された。 提案手法は,検索待ち時間を大幅に短縮し,ストレージコストを低減し,高い競争性を維持する。

関連論文リスト

• Making Large Language Models Efficient Dense Retrievers [24.74245913953312]
  EffiRは、粗大な戦略を通じて大規模圧縮を行う効率的なレトリバーを開発するためのフレームワークである。 EffiRは、フルサイズのモデルの性能を維持しながら、モデルサイズと推論コストを大幅に削減する。
  論文  参考訳（メタデータ） (2025-12-23T18:58:25Z)
• LLM Optimization Unlocks Real-Time Pairwise Reranking [6.0141312590967635]
  Pairwise Re rank Prompting (PRP) はそのユーザビリティと有効性から,将来性のあるプラグアンドプレイアプローチとして登場した。 本稿では、ペアワイズ・リライジングに焦点を合わせ、厳密な最適化手法がこれらの問題を著しく軽減できることを実証する。 Recall@kで測定されたパフォーマンスは、61.36秒から0.37秒まで、最高166倍の遅延削減を実現しています。
  論文  参考訳（メタデータ） (2025-11-10T19:04:41Z)
• Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
  本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。 そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
  論文  参考訳（メタデータ） (2025-10-20T04:16:28Z)
• REFRAG: Rethinking RAG based Decoding [67.4862300145604]
  REFRAGは効率的なデコードフレームワークで、RAGアプリケーションの遅延を圧縮し、感知し、拡張し、改善する。 本稿では,RAG,マルチターン会話,長期文書要約など,多種多様な長文タスクを対象としたREFRAGの厳密な検証を行う。
  論文  参考訳（メタデータ） (2025-09-01T03:31:44Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• LLMInit: A Free Lunch from Large Language Models for Selective Initialization of Recommendation [34.227734210743904]
  協調フィルタリングモデルは、レコメンデーションシステムのためのユーザ-イテムインタラクションをキャプチャする上で、強力なパフォーマンスを示している。 GPTやLLaMAのような大規模言語モデル(LLM)の出現は、レコメンデーションパフォーマンスを向上する新たな可能性を示している。
  論文  参考訳（メタデータ） (2025-03-03T18:41:59Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。