論文の概要: Dense Sparse Retrieval: Using Sparse Language Models for Inference
Efficient Dense Retrieval
- arxiv url: http://arxiv.org/abs/2304.00114v1
- Date: Fri, 31 Mar 2023 20:21:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 19:50:15.940035
- Title: Dense Sparse Retrieval: Using Sparse Language Models for Inference
Efficient Dense Retrieval
- Title（参考訳）: Dense Sparse Retrieval: 推論効率の良いDense Retrievalにおけるスパース言語モデルの利用
- Authors: Daniel Campos, ChengXiang Zhai
- Abstract要約: 本研究では,高密度検索にスパース言語モデルを用いて推論効率を向上する方法について検討する。
スパース言語モデルは、ほとんど精度を落とさず、推論速度を最大4.3倍改善した直接置換として使用することができる。
- 参考スコア（独自算出の注目度）: 37.22592489907125
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vector-based retrieval systems have become a common staple for academic and
industrial search applications because they provide a simple and scalable way
of extending the search to leverage contextual representations for documents
and queries. As these vector-based systems rely on contextual language models,
their usage commonly requires GPUs, which can be expensive and difficult to
manage. Given recent advances in introducing sparsity into language models for
improved inference efficiency, in this paper, we study how sparse language
models can be used for dense retrieval to improve inference efficiency. Using
the popular retrieval library Tevatron and the MSMARCO, NQ, and TriviaQA
datasets, we find that sparse language models can be used as direct
replacements with little to no drop in accuracy and up to 4.3x improved
inference speeds
- Abstract（参考訳）: ベクターベースの検索システムは、文書やクエリの文脈表現を活用できるように検索を拡張するためのシンプルでスケーラブルな方法を提供するため、学術的および産業的な検索アプリケーションでは一般的なものとなっている。
これらのベクトルベースのシステムは文脈言語モデルに依存しているため、一般的にはGPUを必要とする。
推論効率を向上させるために言語モデルにスパーシティを導入する最近の進歩を踏まえ,本論文では,密集した検索にスパース言語モデルを用いて推論効率を向上させる方法について検討する。
一般的な検索ライブラリであるTevatronとMSMARCO、NQ、TriviaQAのデータセットを用いて、スパース言語モデルが直接置換として使用でき、精度は低下せず、推論速度は最大4.3倍向上した。
関連論文リスト
- Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - Mistral-SPLADE: LLMs for better Learned Sparse Retrieval [7.652738829153342]
本稿では,意味的キーワード拡張学習にデコーダのみを用いたモデルを提案する。
我々はMistralをバックボーンとして,SPLADEに似たLearned Sparse Retrieverを開発した。
提案実験は,デコーダのみに基づくスパース検索モデル (LLM) が既存のLSRシステムの性能を上回るという仮説を支持する。
論文 参考訳（メタデータ） (2024-08-20T18:21:54Z) - BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
検索ベースの言語モデルは、質問応答タスクにますます採用されている。
我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。
本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-04-19T13:40:47Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。