論文の概要: Using Interactive Feedback to Improve the Accuracy and Explainability of
Question Answering Systems Post-Deployment
- arxiv url: http://arxiv.org/abs/2204.03025v1
- Date: Wed, 6 Apr 2022 18:17:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-09 08:22:31.608469
- Title: Using Interactive Feedback to Improve the Accuracy and Explainability of
Question Answering Systems Post-Deployment
- Title（参考訳）: 対話型フィードバックによる質問応答システムのデプロイ後の精度と説明可能性の向上
- Authors: Zichao Li, Prakhar Sharma, Xing Han Lu, Jackie C.K. Cheung, Siva Reddy
- Abstract要約: 1)QAシステムのパフォーマンス自体の改善,2) 回答の正確性や誤りを説明する能力を備えたモデルの提供。
ユーザからの対話的なフィードバックを含む検索ベースのQAデータセットであるFeedbackQAを収集する。
フィードバックデータは、デプロイされたQAシステムの精度を向上するだけでなく、他のより強力な非デプロイシステムも改善することを示す。
- 参考スコア（独自算出の注目度）: 20.601284299825895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most research on question answering focuses on the pre-deployment stage;
i.e., building an accurate model for deployment. In this paper, we ask the
question: Can we improve QA systems further \emph{post-}deployment based on
user interactions? We focus on two kinds of improvements: 1) improving the QA
system's performance itself, and 2) providing the model with the ability to
explain the correctness or incorrectness of an answer. We collect a
retrieval-based QA dataset, FeedbackQA, which contains interactive feedback
from users. We collect this dataset by deploying a base QA system to
crowdworkers who then engage with the system and provide feedback on the
quality of its answers. The feedback contains both structured ratings and
unstructured natural language explanations. We train a neural model with this
feedback data that can generate explanations and re-score answer candidates. We
show that feedback data not only improves the accuracy of the deployed QA
system but also other stronger non-deployed systems. The generated explanations
also help users make informed decisions about the correctness of answers.
Project page: https://mcgill-nlp.github.io/feedbackqa/
- Abstract（参考訳）: 質問応答に関するほとんどの研究は、デプロイ前の段階、すなわちデプロイメントのための正確なモデルの構築に焦点を当てている。
本稿では,ユーザインタラクションに基づいて,QAシステムのさらなる展開が可能であるか,という疑問を提起する。
2つの改善に焦点を合わせます
1)QAシステムの性能自体の改善、及び
2) モデルに回答の正確性や不正確性を説明する能力を与える。
ユーザからの対話的なフィードバックを含む検索ベースのQAデータセットであるFeedbackQAを収集する。
このデータセットは,システムに関わるクラウドワーカーにベースQAシステムをデプロイして収集し,回答の品質に関するフィードバックを提供する。
フィードバックには構造化された評価と構造化されていない自然言語の説明の両方が含まれている。
このフィードバックデータを用いてニューラルネットワークをトレーニングし,説明と回答候補の再スコアを生成する。
フィードバックデータは、デプロイされたQAシステムの精度を向上するだけでなく、他のより強力な非デプロイシステムも改善することを示す。
生成された説明は、回答の正確性に関する情報的な判断にも役立ちます。
プロジェクトページ: https://mcgill-nlp.github.io/feedbackqa/
関連論文リスト
- SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳（メタデータ） (2023-09-21T16:51:30Z) - Reinforced Question Rewriting for Conversational Question Answering [25.555372505026526]
対話型質問を自己完結型質問に書き換えるモデルを開発した。
既存のシングルターンQAシステムを使用することで、CQAモデルをスクラッチからトレーニングすることを回避することができる。
我々は、強化学習による書き換えモデルの監督にQAフィードバックを用いることを提案する。
論文 参考訳（メタデータ） (2022-10-27T21:23:36Z) - Knowledge Transfer from Answer Ranking to Answer Generation [97.38378660163414]
我々は、訓練されたAS2モデルから知識を伝達することで、GenQAモデルをトレーニングすることを提案する。
また,AS2モデル予測スコアを損失重み付けおよびスコア条件付き入出力整形に用いることを提案する。
論文 参考訳（メタデータ） (2022-10-23T21:51:27Z) - Towards Teachable Reasoning Systems [29.59387051046722]
質問応答のための授業可能な推論システム(QA)を開発した。
私たちのアプローチは3つあります。 まず、生成された推論の連鎖は、システムの内部の信念によってどのように答えが示唆されるかを示しています。
第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。
第3に、そのような補正の動的なメモリでモデルを増強する。
論文 参考訳（メタデータ） (2022-04-27T17:15:07Z) - Improving the Question Answering Quality using Answer Candidate
Filtering based on Natural-Language Features [117.44028458220427]
本稿では,質問応答(QA)の品質をいかに改善できるかという課題に対処する。
私たちの主な貢献は、QAシステムが提供する間違った回答を識別できるアプローチです。
特に,提案手法は誤答の大部分を除去しつつ,その可能性を示した。
論文 参考訳（メタデータ） (2021-12-10T11:09:44Z) - Improving Unsupervised Question Answering via Summarization-Informed
Question Generation [47.96911338198302]
質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、
我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。
得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
論文 参考訳（メタデータ） (2021-09-16T13:08:43Z) - Will this Question be Answered? Question Filtering via Answer Model
Distillation for Efficient Question Answering [99.66470885217623]
本稿では,質問回答システム(QA)の効率向上に向けた新しいアプローチを提案する。
最新のQAシステムの回答信頼性スコアは、入力された質問テキストのみを使用してモデルによってうまく近似することができる。
論文 参考訳（メタデータ） (2021-09-14T23:07:49Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z) - Summary-Oriented Question Generation for Informational Queries [23.72999724312676]
主文書のトピックに焦点をあてた自己説明的質問を,適切な長さのパスで答えられるようにすることを目的としている。
本モデルでは,NQデータセット(20.1BLEU-4)上でのSQ生成のSOTA性能を示す。
我々はさらに,本モデルをドメイン外のニュース記事に適用し,ゴールド質問の欠如によるQAシステムによる評価を行い,私たちのモデルがニュース記事に対してより良いSQを生成することを実証し,人間による評価によるさらなる確認を行う。
論文 参考訳（メタデータ） (2020-10-19T17:30:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。