論文の概要: Large Language Models are Strong Zero-Shot Retriever

• arxiv url: http://arxiv.org/abs/2304.14233v2
• Date: Wed, 2 Aug 2023 02:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 17:32:02.101020
• Title: Large Language Models are Strong Zero-Shot Retriever
• Title（参考訳）: 大規模言語モデルは強いゼロショットレトリバー
• Authors: Tao Shen, Guodong Long, Xiubo Geng, Chongyang Tao, Tianyi Zhou, Daxin Jiang
• Abstract要約: ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
• 参考スコア（独自算出の注目度）: 89.16756291653371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we propose a simple method that applies a large language model (LLM) to large-scale retrieval in zero-shot scenarios. Our method, the Language language model as Retriever (LameR), is built upon no other neural models but an LLM, while breaking brute-force combinations of retrievers with LLMs and lifting the performance of zero-shot retrieval to be very competitive on benchmark datasets. Essentially, we propose to augment a query with its potential answers by prompting LLMs with a composition of the query and the query's in-domain candidates. The candidates, regardless of correct or wrong, are obtained by a vanilla retrieval procedure on the target collection. As a part of the prompts, they are likely to help LLM generate more precise answers by pattern imitation or candidate summarization. Even if all the candidates are wrong, the prompts at least make LLM aware of in-collection patterns and genres. Moreover, due to the low performance of a self-supervised retriever, the LLM-based query augmentation becomes less effective as the retriever bottlenecks the whole pipeline. Therefore, we propose to leverage a non-parametric lexicon-based method (e.g., BM25) as the retrieval module to capture query-document overlap in a literal fashion. As such, LameR makes the retrieval procedure transparent to the LLM, thus circumventing the performance bottleneck.
• Abstract（参考訳）: 本研究では,大言語モデル(llm)をゼロショットシナリオの大規模検索に適用する簡易な手法を提案する。 本手法は,言語モデル・アズ・レトリーバー (ramer) をベースとし,リトリーバーのブルート・フォース・コンビネーションをllmで破り,ゼロショット検索の性能を高くすることで,ベンチマークデータセットにおいて非常に競争力がある。 基本的に、クエリとクエリのドメイン内候補の合成をLCMに促すことで、潜在的な答えでクエリを拡張することを提案する。 候補は、正否にかかわらず、ターゲットコレクション上のバニラ検索手順によって取得される。 プロンプトの一部として、llmがパターン模倣や候補要約によってより正確な回答を生成するのに役立つだろう。 全ての候補が間違っているとしても、プロンプトは少なくともllmにコレクション内のパターンやジャンルを認識させる。 さらに,自己教師型レトリバーの性能が低いため,レトリバーがパイプライン全体をボトルネックにするため,LLMベースのクエリ拡張は効率が低下する。 そこで本研究では,非パラメトリックレキシコンベース手法(例えばbm25)を検索モジュールとして活用し,リテラル形式でクエリ文書重なりをキャプチャする手法を提案する。 そのため、LameRはLLMに対して検索手順を透過的にし、性能ボトルネックを回避する。

関連論文リスト

• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• LightPAL: Lightweight Passage Retrieval for Open Domain Multi-Document Summarization [9.739781953744606]
  Open-Domain Multi-Document Summarization (ODMDS)は、ユーザクエリに応答して巨大なドキュメントコレクションから要約を生成するタスクである。 ODMDSタスクのオープンエンドクエリでは、従来の検索列サマリズアプローチは不足している。 ODMDSの軽量パス検索手法であるLightPALを提案する。
  論文  参考訳（メタデータ） (2024-06-18T10:57:27Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。