論文の概要: Pre-training with Large Language Model-based Document Expansion for
Dense Passage Retrieval
- arxiv url: http://arxiv.org/abs/2308.08285v1
- Date: Wed, 16 Aug 2023 11:10:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 13:56:01.870549
- Title: Pre-training with Large Language Model-based Document Expansion for
Dense Passage Retrieval
- Title(参考訳): 大規模言語モデルに基づくDense Passage Retrievalのための事前学習
- Authors: Guangyuan Ma, Xing Wu, Peng Wang, Zijia Lin, Songlin Hu
- Abstract要約: 本研究では,Large Language Model(LLM)に基づく文書拡張による事前学習の可能性について検討した。
我々の研究は、ゼロショットとドメイン外検索能力の強いものを示し、人間のラベル付きデータなしで初期化する場合に、検索にもっと広く適用できるようにする。
- 参考スコア(独自算出の注目度): 28.906829093158592
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we systematically study the potential of pre-training with
Large Language Model(LLM)-based document expansion for dense passage retrieval.
Concretely, we leverage the capabilities of LLMs for document expansion, i.e.
query generation, and effectively transfer expanded knowledge to retrievers
using pre-training strategies tailored for passage retrieval. These strategies
include contrastive learning and bottlenecked query generation. Furthermore, we
incorporate a curriculum learning strategy to reduce the reliance on LLM
inferences. Experimental results demonstrate that pre-training with LLM-based
document expansion significantly boosts the retrieval performance on
large-scale web-search tasks. Our work shows strong zero-shot and out-of-domain
retrieval abilities, making it more widely applicable for retrieval when
initializing with no human-labeled data.
- Abstract(参考訳): 本稿では,Large Language Model (LLM) を用いた文書拡張による事前学習の可能性について系統的に検討する。
具体的には、文書拡張、すなわちクエリ生成にLLMの能力を活用し、経路検索に適した事前学習戦略を用いて、拡張知識を検索者へ効果的に転送する。
これらの戦略には、対比学習とボトルネック付きクエリ生成が含まれる。
さらに,LLM推論への依存を減らすために,カリキュラム学習戦略を取り入れた。
LLMによる文書拡張による事前学習が大規模Web検索タスクにおける検索性能を大幅に向上させることを示す実験結果を得た。
本研究は,ゼロショット・アウト・オブ・ドメイン検索能力が強く,人間ラベルデータを用いずに初期化した場合の検索に広く適用可能であることを示す。
関連論文リスト
- R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。
既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。
検索拡張LDMのための文書順序付けを学習するために,Reinforced Retriever-Reorder-Responder' という新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2024-05-04T12:59:10Z) - A Survey on Efficient Inference for Large Language Models [25.572035747669275]
大きな言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスのために、広く注目を集めている。
LLM推論のかなりの計算とメモリ要件は、リソース制約のあるシナリオへの展開に困難をもたらす。
本稿では,LLMの効率的な推論について,既存の文献を包括的に調査する。
論文 参考訳(メタデータ) (2024-04-22T15:53:08Z) - Corpus-Steered Query Expansion with Large Language Models [35.64662397095323]
我々はCSQE(Corpus-Steered Query Expansion)を導入し,コーパス内に埋め込まれた知識の取り込みを促進する。
CSQEは、LLMの関連性評価機能を利用して、最初に検索された文書の重要文を体系的に同定する。
大規模な実験により、CSQEは訓練を必要とせず、特にLLMが知識を欠いているクエリで強い性能を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-02-28T03:58:58Z) - Self-Retrieval: Building an Information Retrieval System with One Large
Language Model [102.78988790457004]
Self-Retrievalは、エンドツーエンドのLLM駆動の情報検索アーキテクチャである。
本稿では,自己検索が従来の検索手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-02-23T18:45:35Z) - RRAML: Reinforced Retrieval Augmented Machine Learning [10.94680155282906]
我々はReinforced Retrieval Augmented Machine Learning (RRAML)と呼ばれる新しいフレームワークを提案する。
RRAMLは、大規模な言語モデルの推論機能と、巨大なユーザが提供するデータベースから目的に構築された検索者によって取得された情報を統合する。
この論文で概説された研究課題は、AIの分野に大きな影響を与える可能性があると信じている。
論文 参考訳(メタデータ) (2023-07-24T13:51:19Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
大規模言語モデル(LLM)は、大量の世界の知識を符号化する。
我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。
ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
論文 参考訳(メタデータ) (2023-05-18T14:20:32Z) - Synergistic Interplay between Search and Large Language Models for
Information Retrieval [141.18083677333848]
InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。
InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
論文 参考訳(メタデータ) (2023-05-12T11:58:15Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳(メタデータ) (2023-05-11T17:13:40Z) - Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。
query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。
また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文 参考訳(メタデータ) (2023-03-14T07:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。