論文の概要: SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval

• arxiv url: http://arxiv.org/abs/2307.10488v1
• Date: Wed, 19 Jul 2023 22:48:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-21 15:30:25.842585
• Title: SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
• Title（参考訳）: SPRINT:ゼロショットニューラルスパース検索の評価とデミスティファイションのための統一ツールキット
• Authors: Nandan Thakur, Kexin Wang, Iryna Gurevych, Jimmy Lin
• Abstract要約: ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
• 参考スコア（独自算出の注目度）: 92.27387459751309
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Traditionally, sparse retrieval systems relied on lexical representations to retrieve documents, such as BM25, dominated information retrieval tasks. With the onset of pre-trained transformer models such as BERT, neural sparse retrieval has led to a new paradigm within retrieval. Despite the success, there has been limited software supporting different sparse retrievers running in a unified, common environment. This hinders practitioners from fairly comparing different sparse models and obtaining realistic evaluation results. Another missing piece is, that a majority of prior work evaluates sparse retrieval models on in-domain retrieval, i.e. on a single dataset: MS MARCO. However, a key requirement in practical retrieval systems requires models that can generalize well to unseen out-of-domain, i.e. zero-shot retrieval tasks. In this work, we provide SPRINT, a unified Python toolkit based on Pyserini and Lucene, supporting a common interface for evaluating neural sparse retrieval. The toolkit currently includes five built-in models: uniCOIL, DeepImpact, SPARTA, TILDEv2 and SPLADEv2. Users can also easily add customized models by defining their term weighting method. Using our toolkit, we establish strong and reproducible zero-shot sparse retrieval baselines across the well-acknowledged benchmark, BEIR. Our results demonstrate that SPLADEv2 achieves the best average score of 0.470 nDCG@10 on BEIR amongst all neural sparse retrievers. In this work, we further uncover the reasons behind its performance gain. We show that SPLADEv2 produces sparse representations with a majority of tokens outside of the original query and document which is often crucial for its performance gains, i.e. a limitation among its other sparse counterparts. We provide our SPRINT toolkit, models, and data used in our experiments publicly here at https://github.com/thakur-nandan/sprint.
• Abstract（参考訳）: 従来のスパース検索システムは、BM25のような文書を検索するための語彙表現に頼っていた。 BERTのような事前訓練されたトランスフォーマーモデルの開始により、ニューラルスパース検索は、検索における新しいパラダイムへと導いた。 成功にもかかわらず、統一された共通環境で動作するさまざまなスパースレトリバーをサポートするソフトウェアは限られている。 これにより、実践者が異なるスパースモデルを比較し、現実的な評価結果を得るのを妨げる。 もう一つの欠点は、以前の研究の大部分がドメイン内検索のスパース検索モデル、すなわち単一のデータセットであるMS MARCOを評価することである。 しかし、実用的な検索システムにおいて重要な要件は、ドメイン外、すなわちゼロショット検索タスクを十分に一般化できるモデルが必要である。 本研究では,PyseriniとLuceneをベースとした統一PythonツールキットであるSPRINTを提供し,ニューラルスパース検索のための共通インターフェースをサポートする。 現在、ツールキットには、uniCOIL、DeepImpact、SPARTA、TILDEv2、SPLADEv2の5つのビルトインモデルが含まれている。 用語重み付けメソッドを定義することで、カスタマイズされたモデルを簡単に追加できる。 我々のツールキットを用いて、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 以上の結果から,SPLADEv2は全神経スパースレトリーバーのうち,BEIRの0.470 nDCG@10の平均スコアを達成できた。 本研究では、パフォーマンス向上の背景にある理由をさらに明らかにする。 我々は、SPLADEv2が、元のクエリやドキュメント以外のほとんどのトークンでスパース表現を生成しており、そのパフォーマンス向上には欠かせないこと、すなわち、他のスパース表現の制限があることを示します。 SPRINTツールキット、モデル、データについては、https://github.com/thakur-nandan/sprintで公開しています。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Mistral-SPLADE: LLMs for better Learned Sparse Retrieval [7.652738829153342]
  本稿では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。 我々はMistralをバックボーンとして,SPLADEに似たLearned Sparse Retrieverを開発した。 提案実験は,デコーダのみに基づくスパース検索モデル (LLM) が既存のLSRシステムの性能を上回るという仮説を支持する。
  論文  参考訳（メタデータ） (2024-08-20T18:21:54Z)
• Contextualization with SPLADE for High Recall Retrieval [5.973857434357868]
  ハイリコール検索(High Recall Retrieval, HRR)は、あるコレクション内の最も関連性の高い文書を検索するコストを最適化する検索問題である。 本研究では,文書を文脈化されたスパースベクトルに変換する効率的な検索モデルであるSPLADEを活用する。 2つのHRR評価コレクションのレビューコストの10%と18%を1フェーズのレビューワークフローで削減し、80%のリコールを目標としている。
  論文  参考訳（メタデータ） (2024-05-07T03:05:37Z)
• RealPatch: A Statistical Matching Framework for Model Patching with Real Samples [6.245453620070586]
  RealPatchは、統計マッチングに基づいた、よりシンプルで、より高速で、よりデータ効率の高いデータ拡張のためのフレームワークである。 この結果から,RealPatchは,モデルリークを低減し,高ユーティリティを維持するとともに,データセットリークを効果的に除去できることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T16:22:30Z)
• Injecting Domain Adaptation with Learning-to-hash for Effective and Efficient Zero-shot Dense Retrieval [49.98615945702959]
  我々は,TAS-B高密度検索器の下流ゼロショット検索精度を向上させるためのLTHおよびベクトル圧縮技術を評価する。 以上の結果から, 従来の研究とは異なり, LTH法はゼロショットTAS-B高密度レトリバーを平均14%のnDCG@10で過小評価できることがわかった。
  論文  参考訳（メタデータ） (2022-05-23T17:53:44Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval [55.097573036580066]
  実験結果から,LaPraDoRは教師付き高密度検索モデルと比較して最先端の性能が得られることがわかった。 再ランクと比較すると,1ミリ秒 (22.5倍高速) でレキシコン強化手法を動作させることができるが,性能は良好である。
  論文  参考訳（メタデータ） (2022-03-11T18:53:12Z)
• InPars: Data Augmentation for Information Retrieval using Large Language Models [5.851846467503597]
  本研究では,大規模な事前学習型言語モデルの,情報検索タスクのための合成データ生成機能を利用する。 我々は、教師なしデータセットのみに微調整されたモデルが、BM25のような強力なベースラインより優れていることを示す。 教師付きデータと我々の合成データの両方に微調整されたレトリバーは、教師付きデータにのみ微調整されたモデルよりも優れたゼロショット転送を実現する。
  論文  参考訳（メタデータ） (2022-02-10T16:52:45Z)
• SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
  SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。 我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。 全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
  論文  参考訳（メタデータ） (2021-09-21T10:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。