論文の概要: Query Rewriting for Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2305.14283v1
• Date: Tue, 23 May 2023 17:27:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 14:05:39.175614
• Title: Query Rewriting for Retrieval-Augmented Large Language Models
• Title（参考訳）: 検索型大規模言語モデルのクエリ書き換え
• Authors: Xinbei Ma, Yeyun Gong, Pengcheng He, Hai Zhao, Nan Duan
• Abstract要約: Large Language Models (LLMs) は textitRetrieve-then-Read パイプラインの強力な textitReader を動作させる。 この研究は、新しいフレームワーク、textitRewrite-Retrieve-Readを導入し、クエリ書き換えの観点から検索拡張メソッドを改善した。
• 参考スコア（独自算出の注目度）: 114.9553318097818
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) play a powerful \textit{Reader} of the \textit{Retrieve-then-Read} pipeline, making great progress in knowledge-based open-domain tasks. This work introduces a new framework, \textit{Rewrite-Retrieve-Read} that improves the retrieval-augmented method from the perspective of the query rewriting. Prior studies mostly contribute to adapt the retriever or stimulate the reader. Different from them, our approach pay attention of the query adaptation. Because the original query can not be always optimal to retrieve for the LLM, especially in the real world.(1) We first prompt an LLM to rewrite the queries, then conduct retrieval-augmented reading. (2) We further apply a small language model as a trainable rewriter, which rewrite the search query to cater to the frozen retriever and the LLM reader. To fine-tune the rewriter, we first use a pseudo data to conduct supervised warm-up training. Then the \textit{Retrieve-then-Read} pipeline is modeled as a reinforcement learning context. The rewriter is further trained as a policy model by maximize the reward of the pipeline performance. Evaluation is performed on two downstream tasks, open-domain QA and multiple choice. Our framework is proved effective and scalable.
• Abstract（参考訳）: 大規模言語モデル (llms) は \textit{retrieve-then-read} パイプラインの強力な \textit{reader} を再生し、知識ベースのオープンドメインタスクにおいて大きな進歩を遂げている。 この作業では,クエリ書き換えの観点から検索指定メソッドを改善する,新しいフレームワークである \textit{rewrite-retrieve-read}が導入されている。 先行研究は、主にレトリバーの適応や読者の刺激に寄与する。 それらと異なり、我々のアプローチはクエリ適応に注意を払っている。 なぜなら、元のクエリは、特に現実世界において LLM の検索に最適であるとは限らないからである。 1)まず LLM にクエリの書き直しを指示し,次に検索拡張読解を行う。 2) 学習可能な書き換え子として, 検索クエリを書き換えて, 冷凍レトリバーとllmリーダに対応させる小さな言語モデルを適用した。 リライタの微調整には、まず擬似データを用いて教師付きウォームアップトレーニングを行う。 次に、‘textit{Retrieve-then-Read}パイプラインは強化学習コンテキストとしてモデル化される。 リライトは、パイプラインのパフォーマンスの報酬を最大化することで、ポリシーモデルとしてさらに訓練される。 評価は、オープンドメインQAと複数選択の2つの下流タスクで行われる。 私たちのフレームワークは効果的でスケーラブルです。

関連論文リスト

• MaFeRw: Query Rewriting with Multi-Aspect Feedbacks for Retrieval-Augmented Large Language Models [34.39053202801489]
  現実世界のRAGシステムでは、現在のクエリは会話コンテキストからの音声楕円とあいまいな参照を含むことが多い。 本稿では,検索プロセスと生成結果の両方からマルチアスペクトフィードバックを統合することにより,RAG性能を向上させる新しいクエリ書き換え手法MaFeRwを提案する。 2つの対話型RAGデータセットの実験結果から、MaFeRwはベースラインよりも優れた生成指標と安定したトレーニングを達成できることが示された。
  論文  参考訳（メタデータ） (2024-08-30T07:57:30Z)
• CHIQ: Contextual History Enhancement for Improving Query Rewriting in Conversational Search [67.6104548484555]
  我々は,オープンソースの大規模言語モデル(LLM)の機能を活用して,クエリ書き換え前の会話履歴の曖昧さを解消する2段階の手法であるCHIQを紹介する。 我々は、CHIQがほとんどの設定で最先端の結果をもたらす、よく確立された5つのベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-06-07T15:23:53Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search [25.16282868262589]
  RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-02-19T04:41:31Z)
• Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
  デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。 意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。 本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:10:35Z)
• Context Aware Query Rewriting for Text Rankers using LLM [5.164642900490078]
  テキストランキングタスクのクエリ書き直し改善のための大規模モデルの有用性を解析する。 私たちは、コンテキスト対応クエリ書き換え(CAR)と呼ばれる、シンプルだが驚くほど効果的なアプローチを採用しています。 書き直しクエリを使ってランク付けを行うと、パスランキングタスクでは最大33%、ドキュメントランキングタスクでは最大28%の大幅な改善が得られます。
  論文  参考訳（メタデータ） (2023-08-31T14:19:50Z)
• Retrieval-Pretrained Transformer: Long-range Language Modeling with Self-retrieval [51.437420003471615]
  本稿では,検索拡張LMをゼロから共同で訓練するためのアーキテクチャおよび訓練手順であるRetrieval-Pretrained Transformer (RPT)を提案する。 RPTは検索品質を向上し、強いベースラインに比べてボード全体の難易度を向上する。
  論文  参考訳（メタデータ） (2023-06-23T10:18:02Z)
• End-to-end Knowledge Retrieval with Multi-modal Queries [50.01264794081951]
  ReMuQは、テキストと画像のクエリからコンテンツを統合することで、大規模なコーパスから知識を取得するシステムを必要とする。 本稿では,入力テキストや画像を直接処理し,関連する知識をエンドツーエンドで検索する検索モデルReViz'を提案する。 ゼロショット設定下での2つのデータセットの検索において,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T08:04:12Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。