論文の概要: Efficiency Optimizations for Superblock-based Sparse Retrieval
- arxiv url: http://arxiv.org/abs/2602.02883v1
- Date: Mon, 02 Feb 2026 22:42:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:15.120305
- Title: Efficiency Optimizations for Superblock-based Sparse Retrieval
- Title(参考訳): 超ブロック型スパース検索の効率最適化
- Authors: Parker Carlson, Wentai Xie, Rohil Shah, Tao Yang,
- Abstract要約: 本稿では,競争的妥当性を保ちながら,超ブロックスコアのオーバーヘッドを低減する,シンプルで効果的な超ブロックプルーニング手法を提案する。
このスキームは、コンパクトなインデックス構造と、LSRモデルと複数のデータセットで有効である堅牢なゼロショット構成を組み合わせる。
- 参考スコア(独自算出の注目度): 3.8177503173791756
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learned sparse retrieval (LSR) is a popular method for first-stage retrieval because it combines the semantic matching of language models with efficient CPU-friendly algorithms. Previous work aggregates blocks into "superblocks" to quickly skip the visitation of blocks during query processing by using an advanced pruning heuristic. This paper proposes a simple and effective superblock pruning scheme that reduces the overhead of superblock score computation while preserving competitive relevance. It combines this scheme with a compact index structure and a robust zero-shot configuration that is effective across LSR models and multiple datasets. This paper provides an analytical justification and evaluation on the MS MARCO and BEIR datasets, demonstrating that the proposed scheme can be a strong alternative for efficient sparse retrieval.
- Abstract(参考訳): 学習スパース検索(LSR)は、言語モデルのセマンティックマッチングと効率的なCPUフレンドリーなアルゴリズムを組み合わせることで、第一段階検索の一般的な方法である。
以前の作業はブロックを"スーパーブロック"に集約し、高度なプルーニングヒューリスティックを使用してクエリ処理中のブロックの訪問を素早くスキップする。
本稿では,競合関係を保ちながら,超ブロックスコア計算のオーバーヘッドを低減する,シンプルで効果的な超ブロックプルーニング手法を提案する。
このスキームは、コンパクトなインデックス構造と、LSRモデルと複数のデータセットで有効である堅牢なゼロショット構成を組み合わせる。
本稿では,MS MARCOおよびBEIRデータセットの解析的正当化と評価を行い,提案手法が効率的なスパース検索の強力な代替手段であることを示す。
関連論文リスト
- SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳(メタデータ) (2026-01-05T21:02:49Z) - An Enhanced Model-based Approach for Short Text Clustering [58.60681789677676]
Twitter、Google+、Facebookなどのソーシャルメディアの人気が高まり、短いテキストのクラスタリングがますます重要になっている。
既存の手法は、トピックモデルに基づくアプローチと深層表現学習に基づくアプローチの2つのパラダイムに大別することができる。
短文の空間性と高次元性を効果的に扱えるDirichlet Multinomial Mixture Model (GSDMM) のギブスサンプリングアルゴリズムを提案する。
さらなる改良を保証しているGSDMMのいくつかの側面に基づいて,さらなる性能向上を目的とした改良されたアプローチであるGSDMM+を提案する。
論文 参考訳(メタデータ) (2025-07-18T10:07:42Z) - HASH-RAG: Bridging Deep Hashing with Retriever for Efficient, Fine Retrieval and Augmented Generation [16.147618749631103]
Hash-RAGは、ディープハッシュ技術とシステマティック最適化を統合するフレームワークである。
このハッシュベースの効率的な検索フレームワークを基盤として,きめ細かなチャンクの基盤を確立する。
論文 参考訳(メタデータ) (2025-05-22T02:22:11Z) - Billion-scale Similarity Search Using a Hybrid Indexing Approach with Advanced Filtering [49.1574468325115]
本稿では,CPU推論に最適化された数十億規模のデータセット上での複雑なフィルタリング機能を備えた類似度探索のための新しい手法を提案する。
提案手法は,従来のIVF-Flatインデックス構造を拡張し,多次元フィルタを統合する。
提案アルゴリズムは,高次元空間での高速な探索を可能にするため,高密度埋め込みと離散フィルタ特性を組み合わせる。
論文 参考訳(メタデータ) (2025-01-23T07:47:00Z) - Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。
本稿では,LCLM検索に適した新しい圧縮手法を提案する。
また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
論文 参考訳(メタデータ) (2024-12-24T07:30:55Z) - Faster Learned Sparse Retrieval with Block-Max Pruning [11.080810272211906]
本稿では,学習されたスパース検索環境に出現するインデックスに適した,革新的な動的プルーニング戦略であるBlock-Max Pruning(BMP)を紹介する。
BMPは既存の動的プルーニング戦略を大幅に上回り、安全な検索コンテキストにおいて非並列効率を提供する。
論文 参考訳(メタデータ) (2024-05-02T09:26:30Z) - Shapley-NAS: Discovering Operation Contribution for Neural Architecture
Search [96.20505710087392]
ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。
提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-20T14:41:49Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。