論文の概要: LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval

• arxiv url: http://arxiv.org/abs/2502.10639v1
• Date: Sat, 15 Feb 2025 02:33:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:08:16.980275
• Title: LSTM-based Selective Dense Text Retrieval Guided by Sparse Lexical Retrieval
• Title（参考訳）: sparse Lexical Retrievalで案内されたLSTMに基づく選択的Dense Text Retrieval
• Authors: Yingrui Yang, Parker Carlson, Yifan Qiao, Wentai Xie, Shanxiu He, Tao Yang,
• Abstract要約: CluSDは軽量なクラスタベースのアプローチを採用し、スパース検索結果とクラスタの埋め込みの重複を利用する。 Clukedは部分的な高密度検索をトリガーし、必要に応じてクラスタベースのブロックディスクI/Oを実行する。 本稿では、CluSDを評価し、メモリ内およびディスク上のMS MARCOおよびBEIRデータセットを検索するためのいくつかのベースラインと比較する。
• 参考スコア（独自算出の注目度）: 9.934850855769364
• License:
• Abstract: This paper studies fast fusion of dense retrieval and sparse lexical retrieval, and proposes a cluster-based selective dense retrieval method called CluSD guided by sparse lexical retrieval. CluSD takes a lightweight cluster-based approach and exploits the overlap of sparse retrieval results and embedding clusters in a two-stage selection process with an LSTM model to quickly identify relevant clusters while incurring limited extra memory space overhead. CluSD triggers partial dense retrieval and performs cluster-based block disk I/O if needed. This paper evaluates CluSD and compares it with several baselines for searching in-memory and on-disk MS MARCO and BEIR datasets.
• Abstract（参考訳）: 本稿では,高密度検索とスパースレキシカル検索の高速融合について検討し,スパースレキシカル検索によって誘導されるクラスタベース選択的高密度検索法であるCluSDを提案する。 CluSDは、軽量なクラスタベースのアプローチを採用し、スパース検索結果の重複と、LSTMモデルによる2段階選択プロセスにおけるクラスタの埋め込みを利用して、限られたメモリ空間オーバーヘッドを発生させながら、関連するクラスタを迅速に識別する。 CluSDは部分的な高密度検索をトリガーし、必要に応じてクラスタベースのブロックディスクI/Oを実行する。 本稿では、CluSDを評価し、メモリ内およびディスク上のMS MARCOおよびBEIRデータセットを検索するためのいくつかのベースラインと比較する。

関連論文リスト

• Clustering Based on Density Propagation and Subcluster Merging [92.15924057172195]
  本稿では,クラスタ数を自動的に決定し,データ空間とグラフ空間の両方に適用可能な密度に基づくノードクラスタリング手法を提案する。 二つのノード間の距離を計算する従来の密度クラスタリング法とは異なり,提案手法は伝播過程を通じて密度を決定する。
  論文  参考訳（メタデータ） (2024-11-04T04:09:36Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Generative Dense Retrieval: Memory Can Be a Burden [16.964086245755798]
  Generative Retrieval (GR) はクエリが与えられたドキュメント識別子を自動でデコードする。 Dense Retrieval (DR) はクラスタから関連ドキュメントへのきめ細かいクラスタ内マッチングを実現するために導入された。 DRは、NQデータセットを複数の設定で平均3.0R@100改善する。
  論文  参考訳（メタデータ） (2024-01-19T04:24:07Z)
• Large Language Models Enable Few-Shot Clustering [88.06276828752553]
  大規模言語モデルは、クエリ効率が良く、数発のセミ教師付きテキストクラスタリングを可能にするために、専門家のガイダンスを増幅できることを示す。 最初の2つのステージにLSMを組み込むことで、クラスタの品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-07-02T09:17:11Z)
• Revisiting Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [69.15976031704687]
  IAC (Instance-Adaptive Clustering, インスタンス適応クラスタリング) を提案する。 IACは$ MathcalO(n, textpolylog(n) $の計算複雑性を維持しており、大規模問題に対してスケーラブルで実用的なものである。
  論文  参考訳（メタデータ） (2023-06-18T08:46:06Z)
• CLIP-GCD: Simple Language Guided Generalized Category Discovery [21.778676607030253]
  一般化カテゴリー発見(GCD)は、既知のカテゴリと未知のカテゴリをラベルのないデータで分類するモデルを必要とする。 従来の手法では、自己教師付き事前学習とラベル付きデータの教師付き微調整を併用し、続いて単純なクラスタリング手法を併用していた。 我々は2つの相補的な方法でマルチモーダル(ビジョンと言語)モデルを活用することを提案する。
  論文  参考訳（メタデータ） (2023-05-17T17:55:33Z)
• Hybrid Inverted Index Is a Robust Accelerator for Dense Retrieval [25.402767809863946]
  逆ファイル構造は高密度検索を高速化する一般的な手法である。 本研究では,Hybrid Inverted Index (HI$2$)を提案する。
  論文  参考訳（メタデータ） (2022-10-11T15:12:41Z)
• A Learned Index for Exact Similarity Search in Metric Spaces [25.330353637669386]
  LIMSは、学習したインデックスを構築するために、データクラスタリングとピボットベースのデータ変換技術を使用することが提案されている。 機械学習モデルはディスク上の各データレコードの位置を近似するために開発された。 実世界のデータセットと合成データセットに関する大規模な実験は、従来の指標と比較してLIMSの優位性を示している。
  論文  参考訳（メタデータ） (2022-04-21T11:24:55Z)
• A Proposition-Level Clustering Approach for Multi-Document Summarization [82.4616498914049]
  クラスタリングアプローチを再検討し、より正確な情報アライメントの提案をグループ化します。 提案手法は,有意な命題を検出し,それらをパラフラスティックなクラスタに分類し,その命題を融合して各クラスタの代表文を生成する。 DUC 2004 とTAC 2011 データセットでは,従来の最先端 MDS 法よりも要約法が優れている。
  論文  参考訳（メタデータ） (2021-12-16T10:34:22Z)
• Scalable Hierarchical Agglomerative Clustering [65.66407726145619]
  既存のスケーラブルな階層的クラスタリング手法は、スピードの質を犠牲にする。 我々は、品質を犠牲にせず、数十億のデータポイントまでスケールする、スケーラブルで集約的な階層的クラスタリング法を提案する。
  論文  参考訳（メタデータ） (2020-10-22T15:58:35Z)
• Supervised Enhanced Soft Subspace Clustering (SESSC) for TSK Fuzzy Classifiers [25.32478253796209]
  ファジィc平均クラスタリングアルゴリズムは,高木・スゲノカン(TSK)ファジィ分類器パラメータ推定によく用いられる。 本稿では,クラスタ内コンパクト性,クラスタ間分離,クラスタリングにおけるラベル情報とを同時に考慮した拡張ソフトサブスペースクラスタリング(SESSC)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。