論文の概要: An Empirical Study of Clarifying Question-Based Systems

• arxiv url: http://arxiv.org/abs/2008.00279v1
• Date: Sat, 1 Aug 2020 15:10:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 00:54:55.591333
• Title: An Empirical Study of Clarifying Question-Based Systems
• Title（参考訳）: 質問ベースシステムの明確化に関する実証的研究
• Authors: Jie Zou, Evangelos Kanoulas, and Yiqun Liu
• Abstract要約: 実験システムをデプロイしてオンライン実験を行い、プロダクトリポジトリに対して明確な質問をすることでユーザと対話する。 暗黙的なインタラクション行動データと,ユーザからの明示的なフィードバックの両方を収集する。 (a)ユーザは,多くの明確な質問(平均11～21件)に回答する意思がありますが,それ以上は多くありません。
• 参考スコア（独自算出の注目度）: 15.767515065224016
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Search and recommender systems that take the initiative to ask clarifying questions to better understand users' information needs are receiving increasing attention from the research community. However, to the best of our knowledge, there is no empirical study to quantify whether and to what extent users are willing or able to answer these questions. In this work, we conduct an online experiment by deploying an experimental system, which interacts with users by asking clarifying questions against a product repository. We collect both implicit interaction behavior data and explicit feedback from users showing that: (a) users are willing to answer a good number of clarifying questions (11-21 on average), but not many more than that; (b) most users answer questions until they reach the target product, but also a fraction of them stops due to fatigue or due to receiving irrelevant questions; (c) part of the users' answers (12-17%) are actually opposite to the description of the target product; while (d) most of the users (66-84%) find the question-based system helpful towards completing their tasks. Some of the findings of the study contradict current assumptions on simulated evaluations in the field, while they point towards improvements in the evaluation framework and can inspire future interactive search/recommender system designs.
• Abstract（参考訳）: ユーザの情報ニーズをよりよく理解するために,質問を明確にするためのイニシアチブを取り入れた検索・レコメンデーションシステムは,研究コミュニティから注目を集めている。 しかし、私たちの知る限りでは、ユーザがこれらの質問に答える意思があるかどうかを定量化するための実証的研究はない。 本研究では,製品リポジトリに対する質問を明確にすることでユーザと対話する実験システムを展開することで,オンライン実験を行う。 暗黙のインタラクション行動データとそれを示すユーザからの明示的なフィードバックの両方を収集します。 (a)ユーザーは、多くの明確な質問(平均11～21件)に答える意思があるが、それ以上は多くない。 b) ほとんどのユーザは,対象製品に到達するまで質問に回答するが,そのごく一部は,疲労や無関係な質問の受け取りによって停止する。 c) ユーザの回答の一部(12-17%)は,実際には対象製品の説明とは反対である。 (d) ユーザ(66～84%)の多くは,タスク完了に有用な質問ベースシステムを見出している。 本研究の結果は,現在のシミュレーション評価の前提と矛盾するものが多いが,評価フレームワークの改善を示唆し,今後の対話型検索/リコンペンダーシステム設計に刺激を与える可能性がある。

関連論文リスト

• Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking? [13.790574266700006]
  対話型情報検索システムにおける応答生成の限界について検討する。 本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。 分析の結果,クエリ応答性よりも応答不完全性の検出が容易であることが判明した。
  論文  参考訳（メタデータ） (2024-10-28T20:55:00Z)
• QAGCF: Graph Collaborative Filtering for Q&A Recommendation [58.21387109664593]
  質問と回答(Q&A)プラットフォームは通常、ユーザの知識獲得のニーズを満たすために質問と回答のペアを推奨する。 これにより、ユーザの振る舞いがより複雑になり、Q&Aレコメンデーションの2つの課題が提示される。 グラフニューラルネットワークモデルであるQ&Answer Graph Collaborative Filtering (QAGCF)を導入する。
  論文  参考訳（メタデータ） (2024-06-07T10:52:37Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Estimating the Usefulness of Clarifying Questions and Answers for Conversational Search [17.0363715044341]
  本稿では,質問を明確化するための回答処理手法を提案する。 具体的には,利用者が提示した質問と回答の提示による有用性を評価するための分類器を提案する。 その結果, 強い非混合開始基線よりも顕著な改善が認められた。
  論文  参考訳（メタデータ） (2024-01-21T11:04:30Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Medical Question Understanding and Answering with Knowledge Grounding and Semantic Self-Supervision [53.692793122749414]
  本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。 我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。 システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
  論文  参考訳（メタデータ） (2022-09-30T08:20:32Z)
• Interactive Question Answering Systems: Literature Review [17.033640293433397]
  対話型質問応答(Interactive Question answering)は、質問応答と対話システムの交差点に存在する、最近提案され、ますます人気が高まっているソリューションである。 ユーザがより多くの質問をできるようにすることで、インタラクティブな質問応答によって、ユーザはシステムと動的に対話し、より正確な結果を受け取ることができる。 本調査は,現在の文献で広く普及している対話型質問応答法の概要を概説する。
  論文  参考訳（メタデータ） (2022-09-04T13:46:54Z)
• Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning [69.42679922160684]
  本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。 当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
  論文  参考訳（メタデータ） (2020-11-01T19:50:34Z)
• Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
  製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。 このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。 コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
  論文  参考訳（メタデータ） (2020-03-13T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。