論文の概要: Query Performance Prediction: From Ad-hoc to Conversational Search
- arxiv url: http://arxiv.org/abs/2305.10923v1
- Date: Thu, 18 May 2023 12:37:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 15:26:06.116388
- Title: Query Performance Prediction: From Ad-hoc to Conversational Search
- Title（参考訳）: クエリのパフォーマンス予測: アドホックから対話型検索へ
- Authors: Chuan Meng, Negar Arabzadeh, Mohammad Aliannejadi, Maarten de Rijke
- Abstract要約: クエリパフォーマンス予測(QPP)は、情報検索における中核的なタスクである。
アドホック検索におけるQPPの有効性と有用性について検討した。
その可能性にもかかわらず、会話検索のためのQPPはほとんど研究されていない。
- 参考スコア（独自算出の注目度）: 55.37199498369387
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Query performance prediction (QPP) is a core task in information retrieval.
The QPP task is to predict the retrieval quality of a search system for a query
without relevance judgments. Research has shown the effectiveness and
usefulness of QPP for ad-hoc search. Recent years have witnessed considerable
progress in conversational search (CS). Effective QPP could help a CS system to
decide an appropriate action to be taken at the next turn. Despite its
potential, QPP for CS has been little studied. We address this research gap by
reproducing and studying the effectiveness of existing QPP methods in the
context of CS. While the task of passage retrieval remains the same in the two
settings, a user query in CS depends on the conversational history, introducing
novel QPP challenges. In particular, we seek to explore to what extent findings
from QPP methods for ad-hoc search generalize to three CS settings: (i)
estimating the retrieval quality of different query rewriting-based retrieval
methods, (ii) estimating the retrieval quality of a conversational dense
retrieval method, and (iii) estimating the retrieval quality for top ranks vs.
deeper-ranked lists. Our findings can be summarized as follows: (i) supervised
QPP methods distinctly outperform unsupervised counterparts only when a
large-scale training set is available; (ii) point-wise supervised QPP methods
outperform their list-wise counterparts in most cases; and (iii) retrieval
score-based unsupervised QPP methods show high effectiveness in assessing the
conversational dense retrieval method, ConvDR.
- Abstract（参考訳）: クエリパフォーマンス予測(qpp)は、情報検索におけるコアタスクである。
qppタスクは、関連性判定を行わずにクエリの検索システムの検索品質を予測することである。
アドホック検索におけるQPPの有効性と有用性について検討した。
近年,会話検索(CS)が著しく進歩している。
効果的なQPPは、CSシステムが次のターンで行う適切なアクションを決定するのに役立つ。
その可能性にもかかわらず、CSのQPPはほとんど研究されていない。
CSの文脈における既存のQPP手法の有効性を再現し研究することで、この研究ギャップに対処する。
パス検索のタスクは2つの設定で変わらないが、CSのユーザクエリは会話履歴に依存し、新しいQPP課題を導入している。
特に,アドホック探索のためのqpp法から得られた知見を3つのcs設定に一般化する。
(i)異なる問合せ書き換えに基づく検索方法の検索品質の推定
(ii)会話の密集した検索方法の検索品質の推定、及び
(iii)上位ランクと上位ランクリストの検索品質の推定
私たちの発見は次のように要約できる。
i) 大規模トレーニングセットが利用可能である場合に限り、教師なしQPP法は、教師なしQPP法よりも明らかに優れている。
(ii)QPP法は、ほとんどの場合においてリストワイド法よりも優れている。
3)検索スコアに基づく教師なしQPP法は,会話高密度検索法であるConvDRの評価において高い効果を示す。
関連論文リスト
- AdaCQR: Enhancing Query Reformulation for Conversational Search via Sparse and Dense Retrieval Alignment [16.62505706601199]
本稿では,対話型検索再構成のための新しいフレームワークAdaCQRを提案する。
AdaCQRは、情報検索クエリの一般化性を向上させる。
TopiOCQAデータセットとQReCCデータセットの実験的評価は、AdaCQRが既存の手法よりも大幅に優れていることを示している。
論文 参考訳（メタデータ） (2024-07-02T05:50:16Z) - Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。
QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。
これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
論文 参考訳（メタデータ） (2024-04-01T09:33:05Z) - Response Enhanced Semi-supervised Dialogue Query Generation [40.17161986495854]
ラベルのない会話でモデル性能を向上させるための半教師付き学習フレームワーク、SemiDQGを提案する。
まず、類似性に基づくクエリ選択手法を適用し、高品質なRA生成擬似クエリを選択する。
我々は、QPをさらに強化するためにREINFORCEアルゴリズムを採用し、RAによる報酬をきめ細かい訓練信号として利用する。
論文 参考訳（メタデータ） (2023-12-20T02:19:54Z) - Performance Prediction for Multi-hop Questions [7.388002745070808]
オープンドメイン型マルチホップ質問の性能を予測するための検索前手法であるmultHPを提案する。
評価の結果,提案モデルが従来のシングルホップQPPモデルよりも優れた性能を示すことが示唆された。
論文 参考訳（メタデータ） (2023-08-12T01:34:41Z) - PACIFIC: Towards Proactive Conversational Question Answering over
Tabular and Textual Data in Finance [96.06505049126345]
我々はPACIFICという新しいデータセットを提案する。既存のCQAデータセットと比較すると、PACIFICは(i)活動性、(ii)数値推論、(iii)表とテキストのハイブリッドコンテキストの3つの重要な特徴を示す。
質問生成とCQAを組み合わせたPCQA(Proactive Conversational Question Answering)に基づいて,新しいタスクを定義する。
UniPCQAはPCQAのすべてのサブタスク上でマルチタスク学習を行い、Seeq2Seqの上位$kのサンプルをクロスバリデーションすることで、マルチタスク学習におけるエラー伝搬問題を緩和するための単純なアンサンブル戦略を取り入れている。
論文 参考訳（メタデータ） (2022-10-17T08:06:56Z) - Open-Retrieval Conversational Question Answering [62.11228261293487]
オープン検索型対話型質問応答 (ORConvQA) の設定を導入する。
ORConvQAのエンド・ツー・エンドシステムを構築し,レトリバー,リランカ,およびすべてトランスフォーマーをベースとしたリーダを特徴とする。
論文 参考訳（メタデータ） (2020-05-22T19:39:50Z) - Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
教師なし質問回答(QA)を改善するための2つのアプローチを提案する。
まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。
第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
論文 参考訳（メタデータ） (2020-05-06T15:56:06Z) - Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term
Importance Estimation and Neural Query Rewriting [56.268862325167575]
マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。
本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。
前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。
後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
論文 参考訳（メタデータ） (2020-05-05T14:30:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。