論文の概要: Evaluating Mixed-initiative Conversational Search Systems via User Simulation

• arxiv url: http://arxiv.org/abs/2204.08046v1
• Date: Sun, 17 Apr 2022 16:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 15:57:18.178685
• Title: Evaluating Mixed-initiative Conversational Search Systems via User Simulation
• Title（参考訳）: ユーザシミュレーションによる混合対話型検索システムの評価
• Authors: Ivan Sekuli\'c, Mohammad Aliannejadi, Fabio Crestani
• Abstract要約: このような検索システムの自動評価のための対話型ユーザシミュレータUSiを提案する。 Ui が生成した応答は,その基盤となる情報要求と同等であり,人間による回答に匹敵するものであることを示す。
• 参考スコア（独自算出の注目度）: 9.066817876491053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clarifying the underlying user information need by asking clarifying questions is an important feature of modern conversational search system. However, evaluation of such systems through answering prompted clarifying questions requires significant human effort, which can be time-consuming and expensive. In this paper, we propose a conversational User Simulator, called USi, for automatic evaluation of such conversational search systems. Given a description of an information need, USi is capable of automatically answering clarifying questions about the topic throughout the search session. Through a set of experiments, including automated natural language generation metrics and crowdsourcing studies, we show that responses generated by USi are both inline with the underlying information need and comparable to human-generated answers. Moreover, we make the first steps towards multi-turn interactions, where conversational search systems asks multiple questions to the (simulated) user with a goal of clarifying the user need. To this end, we expand on currently available datasets for studying clarifying questions, i.e., Qulac and ClariQ, by performing a crowdsourcing-based multi-turn data acquisition. We show that our generative, GPT2-based model, is capable of providing accurate and natural answers to unseen clarifying questions in the single-turn setting and discuss capabilities of our model in the multi-turn setting. We provide the code, data, and the pre-trained model to be used for further research on the topic.
• Abstract（参考訳）: 現代会話検索システムにおいて,質問の明確化によるユーザ情報ニーズの明確化が重要な特徴である。 しかし,質問への回答によるシステム評価には,人的努力が不可欠であり,時間と費用がかかる可能性がある。 本稿では,このような対話型検索システムの自動評価のために,usiと呼ばれる対話型ユーザシミュレータを提案する。 情報の必要性が説明されると、USiは検索セッションを通してトピックに関する明確な質問に自動的に答えることができる。 自動自然言語生成メトリクスやクラウドソーシング研究を含む一連の実験を通して、USiが生成した応答は、基礎となる情報要求と同等であり、人間による回答に匹敵するものであることを示す。 さらに,対話型検索システムがユーザニーズの明確化を目標として(シミュレーション)ユーザに対して複数の質問を行うマルチターンインタラクションへの第一歩を踏み出した。 この目的のために,クラウドソーシングに基づくマルチターンデータ取得を行うことで,クラックやクラリクといった明確化問題を研究するために,現在利用可能なデータセットを拡張する。 生成型 GPT2 ベースのモデルでは,単一ターン設定における不明瞭な質問に対して,正確かつ自然な回答が得られ,マルチターン設定におけるモデルの能力について議論できることを示す。 我々は、このトピックに関するさらなる研究に使用する、コード、データ、および事前訓練されたモデルを提供します。

関連論文リスト

• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Zero-shot Clarifying Question Generation for Conversational Search [25.514678546942754]
  本稿では,質問テンプレートとクエリファセットの両方を用いて,効果的かつ正確な質問生成を導く制約付き質問生成システムを提案する。 実験の結果,提案手法は既存のゼロショットベースラインよりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2023-01-30T04:43:02Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)
• End-to-end Spoken Conversational Question Answering: Task, Dataset and Model [92.18621726802726]
  音声による質問応答では、システムは関連する音声書き起こしの中に連続したテキストスパンからの質問に答えるように設計されている。 本稿では,複雑な対話フローをモデル化することを目的とした音声対話型質問応答タスク(SCQA)を提案する。 本研究の目的は,音声記録に基づく対話型質問に対処するシステムを構築することであり,情報収集システムによる様々なモダリティからより多くの手がかりを提供する可能性を探ることである。
  論文  参考訳（メタデータ） (2022-04-29T17:56:59Z)
• BERT-CoQAC: BERT-based Conversational Question Answering in Context [10.811729691130349]
  履歴変換をシステム内に組み込むためのBERTという,パブリックに利用可能なプリトレーニング言語モデルに基づくフレームワークを紹介する。 実験の結果,我々のフレームワークはQuACリーダボードの最先端モデルと同等の性能を示した。
  論文  参考訳（メタデータ） (2021-04-23T03:05:17Z)
• Open-Retrieval Conversational Machine Reading [80.13988353794586]
  会話機械読解では、システムは自然言語規則を解釈し、ハイレベルな質問に答え、フォローアップの明確化を問う必要がある。 既存の作業では、ルールテキストがユーザ毎の質問に対して提供されると仮定し、実際のシナリオにおいて必須の検索ステップを無視する。 本研究では,対話型機械読解のオープンリトリーバル設定を提案し,検討する。
  論文  参考訳（メタデータ） (2021-02-17T08:55:01Z)
• Towards Data Distillation for End-to-end Spoken Conversational Question Answering [65.124088336738]
  音声対話型質問応答タスク(SCQA)を提案する。 SCQAは,音声発話とテキストコーパスから複雑な対話の流れをモデル化することを目的としている。 我々の主な目的は、音声とテキストの両方で会話的な質問に対処するQAシステムを構築することである。
  論文  参考訳（メタデータ） (2020-10-18T05:53:39Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search [36.64582291809485]
  あいまいなクエリやフェースドクエリに対する質問を明確にすることは,様々な情報検索システムにおいて有用な手法として認識されている。 本稿では,トランスフォーマーネットワークが学習した表現を,外部情報ソースからの新たなアテンション機構を用いて強化する。 実験では,検索の明確化のための公開データセットを用いて,競合するベースラインと比較して大きな改善点を示した。
  論文  参考訳（メタデータ） (2020-06-13T03:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。