論文の概要: Ask Optimal Questions: Aligning Large Language Models with Retriever's
Preference in Conversational Search
- arxiv url: http://arxiv.org/abs/2402.11827v1
- Date: Mon, 19 Feb 2024 04:41:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 18:29:40.310852
- Title: Ask Optimal Questions: Aligning Large Language Models with Retriever's
Preference in Conversational Search
- Title(参考訳): 最適な質問: 会話探索における大規模言語モデルと検索者の好みの整合
- Authors: Chanwoong Yoon, Gangwoo Kim, Byeongguk Jeon, Sungdong Kim, Yohan Jo,
Jaewoo Kang
- Abstract要約: RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化するように設計されている。
我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。
このモデルにより,最近の2つの対話型検索ベンチマークにおいて,最先端の性能が得られた。
- 参考スコア(独自算出の注目度): 25.16282868262589
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conversational search, unlike single-turn retrieval tasks, requires
understanding the current question within a dialogue context. The common
approach of rewrite-then-retrieve aims to decontextualize questions to be
self-sufficient for off-the-shelf retrievers, but most existing methods produce
sub-optimal query rewrites due to the limited ability to incorporate signals
from the retrieval results. To overcome this limitation, we present a novel
framework RetPO (Retriever's Preference Optimization), which is designed to
optimize a language model (LM) for reformulating search queries in line with
the preferences of the target retrieval systems. The process begins by
prompting a large LM to produce various potential rewrites and then collects
retrieval performance for these rewrites as the retrievers' preferences.
Through the process, we construct a large-scale dataset called RF collection,
containing Retrievers' Feedback on over 410K query rewrites across 12K
conversations. Furthermore, we fine-tune a smaller LM using this dataset to
align it with the retrievers' preferences as feedback. The resulting model
achieves state-of-the-art performance on two recent conversational search
benchmarks, significantly outperforming existing baselines, including GPT-3.5.
- Abstract(参考訳): 会話検索は、シングルターン検索タスクとは異なり、対話コンテキスト内の現在の質問を理解する必要がある。
リフレッシュ-then-retrieveの一般的なアプローチは、質問を非コンテクスト化して、既成の検索者にとって自己満足のいくものにすることを目的としている。
この制限を克服するために,検索クエリを最適化するための言語モデル(lm)を目標検索システムの選好に合わせて最適化する,新たなフレームワークであるretpo(retriever's preference optimization)を提案する。
このプロセスは、大きなLMに様々な潜在的な書き換えを起こさせるよう促すことから始まり、その後、検索者の好みとしてこれらの書き換えの検索性能を収集する。
このプロセスを通じて、Retrieversのフィードバックを含むRFコレクションと呼ばれる大規模データセットを構築し、12Kの会話で410K以上のクエリ書き換えを行う。
さらに、このデータセットを用いて小さなLMを微調整し、レトリバーの好みをフィードバックとして調整する。
その結果,GPT-3.5を含む既存のベースラインを著しく上回り,最新の2つの対話型検索ベンチマークにおける最先端性能を実現した。
関連論文リスト
- Effective and Efficient Conversation Retrieval for Dialogue State
Tracking with Implicit Text Summaries [51.11997829609478]
LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。
従来は検索キーやクエリとして生の対話コンテキストを使用していた。
会話のテキスト要約に基づいて会話検索を行う。
LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
論文 参考訳(メタデータ) (2024-02-20T14:31:17Z) - Enhancing Conversational Search: Large Language Model-Aided Informative
Query Rewriting [42.35788605017555]
本稿では,大規模言語モデル(LLM)をクエリリフレクタとして利用することを提案する。
精巧な書き直しのための4つの重要な特性を定義し、それら全てをインストラクションに組み込む。
初期クエリの書き直しが可能な場合, LLM の書き直しエディタの役割を導入し, "書き直し-テーマ-編集" プロセスを作成する。
論文 参考訳(メタデータ) (2023-10-15T03:04:17Z) - ConvGQR: Generative Query Reformulation for Conversational Search [37.54018632257896]
ConvGQRは、生成事前訓練された言語モデルに基づいて会話クエリを再構成する新しいフレームワークである。
本稿では,クエリ再構成と検索の両方を最適化する知識注入機構を提案する。
論文 参考訳(メタデータ) (2023-05-25T01:45:06Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - Inference-time Re-ranker Relevance Feedback for Neural Information
Retrieval [84.20748790986131]
検索と参照のフレームワークは、まずK(例えば100)候補を検索し、次により強力なクロスエンコーダモデルを使って上位の候補をランク付けする。
リランカは一般的に、レトリバーよりも優れた候補スコアを生成するが、トップKのみの検索に限られる。
本研究では、リランカを活用して、推論時間関連性フィードバックを検索者に提供することにより、検索を改善する。
論文 参考訳(メタデータ) (2023-05-19T15:30:33Z) - Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。
我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
論文 参考訳(メタデータ) (2023-04-27T14:45:55Z) - Decoding a Neural Retriever's Latent Space for Query Suggestion [28.410064376447718]
本稿では,有意なクエリをその潜在表現から復号することが可能であること,また,潜在空間の正しい方向に移動すると,関連する段落を検索するクエリを復号することができることを示す。
クエリデコーダを用いて、MSMarcoのクエリ再構成の大規模な合成データセットを生成する。
このデータに基づいて、クエリー提案の適用のために擬似関連フィードバック(PRF)T5モデルを訓練する。
論文 参考訳(メタデータ) (2022-10-21T16:19:31Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳(メタデータ) (2022-05-23T11:01:59Z) - Open-Retrieval Conversational Question Answering [62.11228261293487]
オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。
ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
論文 参考訳(メタデータ) (2020-05-22T19:39:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。