論文の概要: Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search

• arxiv url: http://arxiv.org/abs/2008.03717v2
• Date: Tue, 11 Aug 2020 10:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-01 03:58:34.702703
• Title: Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search
• Title（参考訳）: 会話検索における質問の明確化が文書ランク付けに及ぼす影響の分析
• Authors: Antonios Minas Krasakis, Mohammad Aliannejadi, Nikos Voskarides, Evangelos Kanoulas
• Abstract要約: 質問の明確化とユーザの回答の相違がランキングの質に与える影響について検討する。 単純な語彙ベースラインを導入し、既存のナイーブベースラインを著しく上回ります。
• 参考スコア（独自算出の注目度）: 10.335808358080289
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent research on conversational search highlights the importance of mixed-initiative in conversations. To enable mixed-initiative, the system should be able to ask clarifying questions to the user. However, the ability of the underlying ranking models (which support conversational search) to account for these clarifying questions and answers has not been analysed when ranking documents, at large. To this end, we analyse the performance of a lexical ranking model on a conversational search dataset with clarifying questions. We investigate, both quantitatively and qualitatively, how different aspects of clarifying questions and user answers affect the quality of ranking. We argue that there needs to be some fine-grained treatment of the entire conversational round of clarification, based on the explicit feedback which is present in such mixed-initiative settings. Informed by our findings, we introduce a simple heuristic-based lexical baseline, that significantly outperforms the existing naive baselines. Our work aims to enhance our understanding of the challenges present in this particular task and inform the design of more appropriate conversational ranking models.
• Abstract（参考訳）: 会話検索の最近の研究は、会話における混合開始の重要性を強調している。 混合開始を可能にするためには,ユーザに対して明確な質問を行う必要がある。 しかし、これらの明確な質問や回答を考慮に入れるための基盤となるランキングモデル(会話検索をサポートする)の能力は、概ね文書のランク付け時には分析されていない。 この目的のために,対話型検索データセット上での語彙ランキングモデルの性能を,質問を明確にして分析する。 質問と回答の明確化がランク付けの質にどのように影響するか,定量的・質的に検討した。 我々は、このような混合開始的環境に存在する明示的なフィードバックに基づいて、会話の丸ごとの明確化をきめ細かな扱いをする必要があると論じる。 以上の結果から,単純ヒューリスティックな語彙ベースラインを導入し,既存のナイーブベースラインを著しく上回る結果を得た。 本研究の目的は,この課題に対する理解を深め,より適切な対話型ランキングモデルの設計を通知することである。

関連論文リスト

• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Qsnail: A Questionnaire Dataset for Sequential Question Generation [76.616068047362]
  質問紙作成作業に特化して構築された最初のデータセットについて述べる。 我々はQsnailの実験を行い、その結果、検索モデルと従来の生成モデルが与えられた研究トピックや意図と完全に一致していないことが明らかとなった。 チェーン・オブ・シークレット・プロンプトと微調整による改善にもかかわらず、言語モデルによるアンケートは、人間の手書きのアンケートには及ばない。
  論文  参考訳（メタデータ） (2024-02-22T04:14:10Z)
• Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search [89.1772985740272]
  混合開始型会話検索システムでは、質問を明確にすることで、意図を単一のクエリで表現するのに苦労するユーザを支援する。 マルチモーダル情報が関係するシナリオでは、非テクスチャ情報を用いることで、明確化のプロセスを改善することができると仮定する。 質問を明確にする4k以上のマルチモーダルを含むMelonというデータセットを収集し、14k以上の画像で濃縮する。 クエリの明確化フェーズにおけるマルチモーダルコンテンツの重要性を理解するために,いくつかの解析を行った。
  論文  参考訳（メタデータ） (2024-02-12T16:04:01Z)
• Estimating the Usefulness of Clarifying Questions and Answers for Conversational Search [17.0363715044341]
  本稿では,質問を明確化するための回答処理手法を提案する。 具体的には,利用者が提示した質問と回答の提示による有用性を評価するための分類器を提案する。 その結果, 強い非混合開始基線よりも顕著な改善が認められた。
  論文  参考訳（メタデータ） (2024-01-21T11:04:30Z)
• FCC: Fusing Conversation History and Candidate Provenance for Contextual Response Ranking in Dialogue Systems [53.89014188309486]
  複数のチャネルからコンテキスト情報を統合できるフレキシブルなニューラルネットワークフレームワークを提案する。 会話応答ランキングタスクの評価に広く用いられているMSDialogデータセット上で,本モデルの評価を行った。
  論文  参考訳（メタデータ） (2023-03-31T23:58:28Z)
• Conversational QA Dataset Generation with Answer Revision [2.5838973036257458]
  本稿では,一節から質問に値するフレーズを抽出し,過去の会話を考慮し,それに対応する質問を生成する新しい枠組みを提案する。 本フレームワークでは,抽出した回答を質問生成後に修正し,その回答が一致した質問に正確に一致するようにした。
  論文  参考訳（メタデータ） (2022-09-23T04:05:38Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• Evaluating Mixed-initiative Conversational Search Systems via User Simulation [9.066817876491053]
  このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
  論文  参考訳（メタデータ） (2022-04-17T16:27:33Z)
• Question rewriting? Assessing its importance for conversational question answering [0.6449761153631166]
  本研究では,SCAI(Search-Oriented Conversational AI)共有タスクに特化して設計された対話型質問応答システムを提案する。 特に,質問書き直しモジュールの異なるバリエーションを検討した。 我々のシステムは共有タスクにおいて最高の性能を達成し、システム全体の性能に対する会話コンテキスト表現の重要性を強調した。
  論文  参考訳（メタデータ） (2022-01-22T23:31:25Z)
• ConvoSumm: Conversation Summarization Benchmark and Improved Abstractive Summarization with Argument Mining [61.82562838486632]
  我々は、さまざまなオンライン会話形式のニュースコメント、ディスカッションフォーラム、コミュニティ質問応答フォーラム、電子メールスレッドに関する4つの新しいデータセットをクラウドソースする。 我々は、データセットの最先端モデルをベンチマークし、データに関連する特徴を分析します。
  論文  参考訳（メタデータ） (2021-06-01T22:17:13Z)
• Multi-Stage Conversational Passage Retrieval: An Approach to Fusing Term Importance Estimation and Neural Query Rewriting [56.268862325167575]
  マルチステージアドホックIRシステムにクエリ再構成を組み込んだ会話経路検索(ConvPR)に取り組む。 本稿では,1項の重要度推定と2項のニューラルクエリ書き換えという2つの手法を提案する。 前者に対しては、周波数に基づく信号を用いて会話コンテキストから抽出した重要な用語を用いて会話クエリを拡張する。 後者では,会話クエリを,事前訓練されたシーケンス列列列モデルを用いて,自然な,スタンドアロンの,人間の理解可能なクエリに再構成する。
  論文  参考訳（メタデータ） (2020-05-05T14:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。