論文の概要: Continually Improving Extractive QA via Human Feedback
- arxiv url: http://arxiv.org/abs/2305.12473v2
- Date: Fri, 3 Nov 2023 18:23:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 22:40:15.564184
- Title: Continually Improving Extractive QA via Human Feedback
- Title(参考訳): 人間のフィードバックによる抽出QAの継続的な改善
- Authors: Ge Gao, Hung-Ting Chen, Yoav Artzi and Eunsol Choi
- Abstract要約: 本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
- 参考スコア(独自算出の注目度): 59.49549491725224
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study continually improving an extractive question answering (QA) system
via human user feedback. We design and deploy an iterative approach, where
information-seeking users ask questions, receive model-predicted answers, and
provide feedback. We conduct experiments involving thousands of user
interactions under diverse setups to broaden the understanding of learning from
feedback over time. Our experiments show effective improvement from user
feedback of extractive QA models over time across different data regimes,
including significant potential for domain adaptation.
- Abstract(参考訳): 本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。
我々は,情報検索者が質問をし,モデル予測された回答を受け取り,フィードバックを提供する反復的なアプローチを設計し,展開する。
多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
提案実験は,ドメイン適応の有意な可能性を含む,異なるデータレジームにわたる抽出QAモデルのユーザフィードバックによる効果的な改善を示す。
関連論文リスト
- Exploiting Correlated Auxiliary Feedback in Parameterized Bandits [56.84649080789685]
そこで本研究では,学習者が追加の補助的フィードバックを観察できるパラメータ化帯域問題の新たな変種について検討する。
補助的なフィードバックは、ユーザのサービス評価(リワード)を観察し、サービス提供時間(補助的なフィードバック)などの追加情報を収集するオンラインプラットフォームなど、多くの現実的なアプリケーションで容易に利用可能である。
論文 参考訳(メタデータ) (2023-11-05T17:27:06Z) - System-Level Natural Language Feedback [83.24259100437965]
システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。
検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。
システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
論文 参考訳(メタデータ) (2023-06-23T16:21:40Z) - A Critical Evaluation of Evaluations for Long-form Question Answering [48.51361567469683]
LFQA(Long-form Question answering)は、幅広い質問に答えることができるが、その柔軟性は評価に大きな課題をもたらす。
本研究は,人的・自動的な評価の実践を網羅した,長文回答の評価を初めて対象とした研究である。
論文 参考訳(メタデータ) (2023-05-29T16:54:24Z) - Simulating Bandit Learning from User Feedback for Extractive Question
Answering [51.97943858898579]
教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。
当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
論文 参考訳(メタデータ) (2022-03-18T17:47:58Z) - Interpretable Directed Diversity: Leveraging Model Explanations for
Iterative Crowd Ideation [7.341493082311333]
本稿では,アイデアの質と多様性のスコアを自動的に予測するために,解釈可能な方向性の多様性を提案する。
これらの説明は、ユーザがアイデアを反復的に改善するときに、多面的なフィードバックを提供する。
ユーザーは、説明のフィードバックが努力に集中し、改善の道筋を提供するのに役立ったことに感謝した。
論文 参考訳(メタデータ) (2021-09-21T13:01:05Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳(メタデータ) (2020-11-01T19:50:34Z) - Soliciting Human-in-the-Loop User Feedback for Interactive Machine
Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。
本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-08-28T16:46:41Z) - An Empirical Study of Clarifying Question-Based Systems [15.767515065224016]
実験システムをデプロイしてオンライン実験を行い、プロダクトリポジトリに対して明確な質問をすることでユーザと対話する。
暗黙的なインタラクション行動データと,ユーザからの明示的なフィードバックの両方を収集する。 (a)ユーザは,多くの明確な質問(平均11~21件)に回答する意思がありますが,それ以上は多くありません。
論文 参考訳(メタデータ) (2020-08-01T15:10:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。