論文の概要: Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search

• arxiv url: http://arxiv.org/abs/2402.11827v1
• Date: Mon, 19 Feb 2024 04:41:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 18:29:40.310852
• Title: Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversational Search
• Title（参考訳）: 最適な質問: 会話探索における大規模言語モデルと検索者の好みの整合
• Authors: Chanwoong Yoon, Gangwoo Kim, Byeongguk Jeon, Sungdong Kim, Yohan Jo, Jaewoo Kang
• Abstract要約: RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
• 参考スコア（独自算出の注目度）: 25.16282868262589
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conversational search, unlike single-turn retrieval tasks, requires understanding the current question within a dialogue context. The common approach of rewrite-then-retrieve aims to decontextualize questions to be self-sufficient for off-the-shelf retrievers, but most existing methods produce sub-optimal query rewrites due to the limited ability to incorporate signals from the retrieval results. To overcome this limitation, we present a novel framework RetPO (Retriever's Preference Optimization), which is designed to optimize a language model (LM) for reformulating search queries in line with the preferences of the target retrieval systems. The process begins by prompting a large LM to produce various potential rewrites and then collects retrieval performance for these rewrites as the retrievers' preferences. Through the process, we construct a large-scale dataset called RF collection, containing Retrievers' Feedback on over 410K query rewrites across 12K conversations. Furthermore, we fine-tune a smaller LM using this dataset to align it with the retrievers' preferences as feedback. The resulting model achieves state-of-the-art performance on two recent conversational search benchmarks, significantly outperforming existing baselines, including GPT-3.5.
• Abstract（参考訳）: 会話検索は、シングルターン検索タスクとは異なり、対話コンテキスト内の現在の質問を理解する必要がある。 リフレッシュ-then-retrieveの一般的なアプローチは、質問を非コンテクスト化して、既成の検索者にとって自己満足のいくものにすることを目的としている。 この制限を克服するために,検索クエリを最適化するための言語モデル(lm)を目標検索システムの選好に合わせて最適化する,新たなフレームワークであるretpo(retriever's preference optimization)を提案する。 このプロセスは、大きなLMに様々な潜在的な書き換えを起こさせるよう促すことから始まり、その後、検索者の好みとしてこれらの書き換えの検索性能を収集する。 このプロセスを通じて、Retrieversのフィードバックを含むRFコレクションと呼ばれる大規模データセットを構築し、12Kの会話で410K以上のクエリ書き換えを行う。 さらに、このデータセットを用いて小さなLMを微調整し、レトリバーの好みをフィードバックとして調整する。 その結果,GPT-3.5を含む既存のベースラインを著しく上回り,最新の2つの対話型検索ベンチマークにおける最先端性能を実現した。

関連論文リスト

• IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search [6.974395116689502]
  iKAT 2024は、対話アシスタントの進化に焦点を当て、対話と応答をパーソナライズされたユーザー知識から適応することができる。 このトラックには、Personal Textual Knowledge Base(PTKB)と会話型AIタスク(通訳ランキングや応答生成など)が組み込まれている。
  論文  参考訳（メタデータ） (2024-11-22T05:18:35Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Decoding a Neural Retriever's Latent Space for Query Suggestion [28.410064376447718]
  本稿では,有意なクエリをその潜在表現から復号することが可能であること,また,潜在空間の正しい方向に移動すると,関連する段落を検索するクエリを復号することができることを示す。 クエリデコーダを用いて、MSMarcoのクエリ再構成の大規模な合成データセットを生成する。 このデータに基づいて、クエリー提案の適用のために擬似関連フィードバック(PRF)T5モデルを訓練する。
  論文  参考訳（メタデータ） (2022-10-21T16:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。