Fugu-MT 論文翻訳(概要): Mistral-SPLADE: LLMs for better Learned Sparse Retrieval

論文の概要: Mistral-SPLADE: LLMs for better Learned Sparse Retrieval

arxiv url: http://arxiv.org/abs/2408.11119v2
Date: Thu, 22 Aug 2024 03:46:25 GMT
ステータス: 処理完了
システム内更新日: 2024-08-23 12:32:33.517319
Title: Mistral-SPLADE: LLMs for better Learned Sparse Retrieval
Title（参考訳）: Mistral-SPLADE: より学習されたスパース検索のためのLLM
Authors: Meet Doshi, Vishwajeet Kumar, Rudra Murthy, Vignesh P, Jaydeep Sen,
Abstract要約: 本稿では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。我々はMistralをバックボーンとして,SPLADEに似たLearned Sparse Retrieverを開発した。提案実験は,デコーダのみに基づくスパース検索モデル (LLM) が既存のLSRシステムの性能を上回るという仮説を支持する。
参考スコア（独自算出の注目度）: 7.652738829153342
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Learned Sparse Retrievers (LSR) have evolved into an effective retrieval strategy that can bridge the gap between traditional keyword-based sparse retrievers and embedding-based dense retrievers. At its core, learned sparse retrievers try to learn the most important semantic keyword expansions from a query and/or document which can facilitate better retrieval with overlapping keyword expansions. LSR like SPLADE has typically been using encoder only models with MLM (masked language modeling) style objective in conjunction with known ways of retrieval performance improvement such as hard negative mining, distillation, etc. In this work, we propose to use decoder-only model for learning semantic keyword expansion. We posit, decoder only models that have seen much higher magnitudes of data are better equipped to learn keyword expansions needed for improved retrieval. We use Mistral as the backbone to develop our Learned Sparse Retriever similar to SPLADE and train it on a subset of sentence-transformer data which is often used for training text embedding models. Our experiments support the hypothesis that a sparse retrieval model based on decoder only large language model (LLM) surpasses the performance of existing LSR systems, including SPLADE and all its variants. The LLM based model (Echo-Mistral-SPLADE) now stands as a state-of-the-art learned sparse retrieval model on the BEIR text retrieval benchmark.
Abstract（参考訳）: 学習されたスパースレトリバー(LSR)は、従来のキーワードベースのスパースレトリバーと埋め込みベースの高密度レトリバーのギャップを埋める効果的な検索戦略へと進化してきた。学習されたスパース検索者は、クエリやドキュメントから最も重要なセマンティックキーワード拡張を学習し、重複するキーワード拡張によるより良い検索を容易にする。 SPLADEのようなLSRは典型的には、ハードネガティブマイニングや蒸留などの既知の検索性能向上の方法と合わせて、MLM(masked language modeling)スタイルの目的を持つエンコーダのみのモデルを使用してきた。本研究では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。提案するデコーダは,データ量が大きくなったモデルのみが,検索改善に必要なキーワード拡張の学習に適している。我々はMistralをバックボーンとして、SPLADEに似たLearned Sparse Retrieverを開発し、テキスト埋め込みモデルのトレーニングによく使用される文変換データのサブセットでトレーニングする。実験では,デコーダのみに基づくスパース検索モデル(LLM)が,SPLADEを含む既存のLSRシステムの性能を超えるという仮説を支持した。 LLMベースのモデル(Echo-Mistral-SPLADE)は、BEIRテキスト検索ベンチマークにおいて、現在最先端の学習されたスパース検索モデルとなっている。

関連論文リスト

Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文参考訳（メタデータ） (2024-10-08T15:22:36Z)
PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
論文参考訳（メタデータ） (2024-04-29T04:51:30Z)
Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文参考訳（メタデータ） (2023-12-24T15:10:35Z)
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
論文参考訳（メタデータ） (2023-07-19T22:48:02Z)
Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文参考訳（メタデータ） (2023-05-12T11:58:15Z)
Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文参考訳（メタデータ） (2023-04-27T14:45:55Z)
Dense Sparse Retrieval: Using Sparse Language Models for Inference Efficient Dense Retrieval [37.22592489907125]
本研究では,高密度検索にスパース言語モデルを用いて推論効率を向上する方法について検討する。スパース言語モデルは、ほとんど精度を落とさず、推論速度を最大4.3倍改善した直接置換として使用することができる。
論文参考訳（メタデータ） (2023-03-31T20:21:32Z)
UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。