論文の概要: Query Rewriting for Retrieval-Augmented Large Language Models
- arxiv url: http://arxiv.org/abs/2305.14283v1
- Date: Tue, 23 May 2023 17:27:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 14:05:39.175614
- Title: Query Rewriting for Retrieval-Augmented Large Language Models
- Title(参考訳): 検索型大規模言語モデルのクエリ書き換え
- Authors: Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, Nan Duan
- Abstract要約: Large Language Models (LLMs) は textitRetrieve-then-Read パイプラインの強力な textitReader を動作させる。
この研究は、新しいフレームワーク、textitRewrite-Retrieve-Readを導入し、クエリ書き換えの観点から検索拡張メソッドを改善した。
- 参考スコア(独自算出の注目度): 114.9553318097818
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) play a powerful \textit{Reader} of the
\textit{Retrieve-then-Read} pipeline, making great progress in knowledge-based
open-domain tasks. This work introduces a new framework,
\textit{Rewrite-Retrieve-Read} that improves the retrieval-augmented method
from the perspective of the query rewriting. Prior studies mostly contribute to
adapt the retriever or stimulate the reader. Different from them, our approach
pay attention of the query adaptation. Because the original query can not be
always optimal to retrieve for the LLM, especially in the real world.(1) We
first prompt an LLM to rewrite the queries, then conduct retrieval-augmented
reading. (2) We further apply a small language model as a trainable rewriter,
which rewrite the search query to cater to the frozen retriever and the LLM
reader. To fine-tune the rewriter, we first use a pseudo data to conduct
supervised warm-up training. Then the \textit{Retrieve-then-Read} pipeline is
modeled as a reinforcement learning context. The rewriter is further trained as
a policy model by maximize the reward of the pipeline performance. Evaluation
is performed on two downstream tasks, open-domain QA and multiple choice. Our
framework is proved effective and scalable.
- Abstract(参考訳): 大規模言語モデル (llms) は \textit{retrieve-then-read} パイプラインの強力な \textit{reader} を再生し、知識ベースのオープンドメインタスクにおいて大きな進歩を遂げている。
この作業では,クエリ書き換えの観点から検索指定メソッドを改善する,新しいフレームワークである \textit{rewrite-retrieve-read}が導入されている。
先行研究は、主にレトリバーの適応や読者の刺激に寄与する。
それらと異なり、我々のアプローチはクエリ適応に注意を払っている。
なぜなら、元のクエリは、特に現実世界において LLM の検索に最適であるとは限らないからである。
1)まず LLM にクエリの書き直しを指示し,次に検索拡張読解を行う。
2) 学習可能な書き換え子として, 検索クエリを書き換えて, 冷凍レトリバーとllmリーダに対応させる小さな言語モデルを適用した。
リライタの微調整には、まず擬似データを用いて教師付きウォームアップトレーニングを行う。
次に、‘textit{Retrieve-then-Read}パイプラインは強化学習コンテキストとしてモデル化される。
リライトは、パイプラインのパフォーマンスの報酬を最大化することで、ポリシーモデルとしてさらに訓練される。
評価は、オープンドメインQAと複数選択の2つの下流タスクで行われる。
私たちのフレームワークは効果的でスケーラブルです。
関連論文リスト
- R4: Reinforced Retriever-Reorder-Responder for Retrieval-Augmented Large Language Models [32.598670876662375]
Retrieval-augmented large language model (LLMs) は、情報検索システムによって取得された関連コンテンツを利用して正しい応答を生成する。
既存のレトリバー・サプライヤ・メソッドは、テキスト生成タスクを実行するために LLM のプロンプトに関連文書を追加するのが一般的である。
検索拡張LDMのための文書順序付けを学習するために,Reinforced Retriever-Reorder-Responder' という新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2024-05-04T12:59:10Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - Ask Optimal Questions: Aligning Large Language Models with Retriever's
Preference in Conversational Search [25.16282868262589]
RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。
我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。
このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
論文 参考訳(メタデータ) (2024-02-19T04:41:31Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳(メタデータ) (2023-12-24T15:10:35Z) - Context Aware Query Rewriting for Text Rankers using LLM [5.164642900490078]
テキストランキングタスクのクエリ書き直し改善のための大規模モデルの有用性を解析する。
私たちは、コンテキスト対応クエリ書き換え(CAR)と呼ばれる、シンプルだが驚くほど効果的なアプローチを採用しています。
書き直しクエリを使ってランク付けを行うと、パスランキングタスクでは最大33%、ドキュメントランキングタスクでは最大28%の大幅な改善が得られます。
論文 参考訳(メタデータ) (2023-08-31T14:19:50Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳(メタデータ) (2023-08-21T02:07:35Z) - End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。
本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。
ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
論文 参考訳(メタデータ) (2023-06-01T08:04:12Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。