論文の概要: Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation

• arxiv url: http://arxiv.org/abs/2402.11827v2
• Date: Mon, 16 Jun 2025 03:39:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:44.39804
• Title: Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
• Title（参考訳）: Ask Optimal Questions: Anigning Large Language Models with Retriever's Preference in Conversation (英語)
• Authors: Chanwoong Yoon, Gangwoo Kim, Byeongguk Jeon, Sungdong Kim, Yohan Jo, Jaewoo Kang,
• Abstract要約: RetPOは、ターゲット検索システムの好みに合わせて検索クエリを再構成する言語モデルを最適化するように設計されている。 我々は、12Kの会話で410K以上のクエリを書き換えるRetrievers' Feedbackと呼ばれる大規模なデータセットを構築した。 その結果,2つのベンチマークにおいて,従来のリライト・ザ・リトリーブ・アプローチの最先端性能を上回る優位性を示した。
• 参考スコア（独自算出の注目度）: 23.74712435991676
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conversational search, unlike single-turn retrieval tasks, requires understanding the current question within a dialogue context. The common approach of rewrite-then-retrieve aims to decontextualize questions to be self-sufficient for off-the-shelf retrievers, but most existing methods produce sub-optimal query rewrites due to the limited ability to incorporate signals from the retrieval results. To overcome this limitation, we present a novel framework RetPO (Retriever's Preference Optimization), which is designed to optimize a language model (LM) for reformulating search queries in line with the preferences of the target retrieval systems. The process begins by prompting a large LM to produce various potential rewrites and then collects retrieval performance for these rewrites as the retrievers' preferences. Through the process, we construct a large-scale dataset called RF collection, containing Retrievers' Feedback on over 410K query rewrites across 12K conversations. Furthermore, we fine-tune a smaller LM on this dataset to align it with the retrievers' feedback. Our resulting model demonstrates superiority on two benchmarks, surpassing the previous state-of-the-art performance of rewrite-then-retrieve approaches.
• Abstract（参考訳）: 会話検索は、単ターン検索タスクとは異なり、会話コンテキスト内の現在の質問を理解する必要がある。 リフレッシュ-then-retrieveの一般的なアプローチは、解答をオフ・ザ・シェルフ・レトリバーの自己満足度にデコンテクスト化することを目的としているが、既存のほとんどの手法では、検索結果から信号を取り込む能力に制限があるため、サブ最適クエリリフレクションを生成する。 この制限を克服するために、ターゲット検索システムの好みに合わせて検索クエリを再構成するための言語モデル(LM)を最適化する新しいフレームワークであるRetPO(Retriever's Preference Optimization)を提案する。 このプロセスは、大きなLMに様々な潜在的な書き換えを起こさせるよう促すことから始まり、その後、検索者の好みとしてこれらの書き換えの検索性能を収集する。 このプロセスを通じて、Retrieversのフィードバックを含むRFコレクションと呼ばれる大規模データセットを構築し、12Kの会話で410K以上のクエリ書き直しを行う。 さらに、このデータセット上の小さなLMを微調整して、検索者のフィードバックに合わせる。 その結果,2つのベンチマークにおいて,従来のリライト・ザ・リトリーブ・アプローチの最先端性能を上回る優位性を示した。

関連論文リスト

• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)
• IRLab@iKAT24: Learned Sparse Retrieval with Multi-aspect LLM Query Generation for Conversational Search [6.974395116689502]
  iKAT 2024は、対話アシスタントの進化に焦点を当て、対話と応答をパーソナライズされたユーザー知識から適応することができる。 このトラックには、Personal Textual Knowledge Base(PTKB)と会話型AIタスク(通訳ランキングや応答生成など)が組み込まれている。
  論文  参考訳（メタデータ） (2024-11-22T05:18:35Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)
• Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries [48.243879779374836]
  LLM (Large Language Models) を用いたDST (Few-shot dialogue state tracking) では,会話検索を効果的かつ効率的に行うことで,学習の迅速化を図っている。 従来は検索キーやクエリとして生の対話コンテキストを使用していた。 会話のテキスト要約に基づいて会話検索を行う。 LLMに基づく会話要約器がクエリとキー生成に採用され、効果的な内部製品探索が可能となる。
  論文  参考訳（メタデータ） (2024-02-20T14:31:17Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
  Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。 本稿では,リランカを利用してリコールを改善する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T15:30:33Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)
• Decoding a Neural Retriever's Latent Space for Query Suggestion [28.410064376447718]
  本稿では,有意なクエリをその潜在表現から復号することが可能であること,また,潜在空間の正しい方向に移動すると,関連する段落を検索するクエリを復号することができることを示す。 クエリデコーダを用いて、MSMarcoのクエリ再構成の大規模な合成データセットを生成する。 このデータに基づいて、クエリー提案の適用のために擬似関連フィードバック(PRF)T5モデルを訓練する。
  論文  参考訳（メタデータ） (2022-10-21T16:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。