論文の概要: A Qualitative Evaluation of Language Models on Automatic
Question-Answering for COVID-19
- arxiv url: http://arxiv.org/abs/2006.10964v2
- Date: Tue, 23 Jun 2020 20:23:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 03:40:10.124848
- Title: A Qualitative Evaluation of Language Models on Automatic
Question-Answering for COVID-19
- Title（参考訳）: 自動質問応答における言語モデルの質的評価
- Authors: David Oniani, Yanshan Wang
- Abstract要約: 新型コロナウイルスは740万人以上の感染者と41万8000人以上の死者を出した。
オンラインコミュニティ、フォーラム、ソーシャルメディアは、関連する質問や回答を検索する潜在的な場所を提供する。
本稿では,新型コロナウイルスに関する質問に自動回答する言語モデルを適用し,生成した回答を質的に評価する。
- 参考スコア（独自算出の注目度）: 4.676651062800037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: COVID-19 has resulted in an ongoing pandemic and as of 12 June 2020, has
caused more than 7.4 million cases and over 418,000 deaths. The highly dynamic
and rapidly evolving situation with COVID-19 has made it difficult to access
accurate, on-demand information regarding the disease. Online communities,
forums, and social media provide potential venues to search for relevant
questions and answers, or post questions and seek answers from other members.
However, due to the nature of such sites, there are always a limited number of
relevant questions and responses to search from, and posted questions are
rarely answered immediately. With the advancements in the field of natural
language processing, particularly in the domain of language models, it has
become possible to design chatbots that can automatically answer consumer
questions. However, such models are rarely applied and evaluated in the
healthcare domain, to meet the information needs with accurate and up-to-date
healthcare data. In this paper, we propose to apply a language model for
automatically answering questions related to COVID-19 and qualitatively
evaluate the generated responses. We utilized the GPT-2 language model and
applied transfer learning to retrain it on the COVID-19 Open Research Dataset
(CORD-19) corpus. In order to improve the quality of the generated responses,
we applied 4 different approaches, namely tf-idf, BERT, BioBERT, and USE to
filter and retain relevant sentences in the responses. In the performance
evaluation step, we asked two medical experts to rate the responses. We found
that BERT and BioBERT, on average, outperform both tf-idf and USE in
relevance-based sentence filtering tasks. Additionally, based on the chatbot,
we created a user-friendly interactive web application to be hosted online.
- Abstract（参考訳）: 2020年6月12日現在、新型コロナウイルスは740万人以上の感染者と41万8000人以上の死者を出した。
新型コロナウイルス(COVID-19)の非常にダイナミックで急速に進化している状況は、病気に関する正確なオンデマンド情報へのアクセスを困難にしている。
オンラインコミュニティ、フォーラム、ソーシャルメディアは、関連する質問や回答を探したり、質問を投稿したり、他のメンバーから回答を求めたりできる場所を提供する。
しかし、そのようなサイトの性質上、検索に対する質問や回答は限られており、投稿された質問はすぐに答えられることは稀である。
自然言語処理分野の進歩、特に言語モデルの領域において、消費者の質問に答えるチャットボットを設計することが可能になった。
しかし、そのようなモデルは、正確かつ最新の医療データで情報ニーズを満たすために、医療領域で適用され、評価されることはまれである。
本稿では,covid-19に関連する質問に自動的に答える言語モデルを適用し,生成された応答を質的に評価する。
我々は、GPT-2言語モデルとトランスファーラーニングを適用して、COVID-19 Open Research Dataset (CORD-19)コーパスで再訓練した。
生成した応答の質を向上させるために, tf-idf, BERT, BioBERT, USEの4つの異なるアプローチを適用し, 応答中の関連文のフィルタリングと保存を行った。
パフォーマンス評価のステップでは、2人の医療専門家に反応の評価を依頼した。
その結果,BERT と BioBERT は tf-idf と USE のどちらよりも有意な文フィルタリング作業に優れていた。
さらに、チャットボットをベースとして、ユーザフレンドリなインタラクティブなWebアプリケーションをオンラインでホストしました。
関連論文リスト
- Efficient Medical Question Answering with Knowledge-Augmented Question Generation [5.145812785735094]
本稿では,医療領域における小言語モデルの習熟度を2倍のアプローチで向上させる手法を提案する。
まず、医療教科書のコーパスでモデルを微調整する。
そして、GPT-4を用いて、下流タスクに類似した質問を生成し、教科書の知識でトリガーし、モデルを微調整する。
論文 参考訳（メタデータ） (2024-05-23T14:53:52Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳（メタデータ） (2024-04-28T18:21:31Z) - Using Weak Supervision and Data Augmentation in Question Answering [0.12499537119440242]
新型コロナウイルス(COVID-19)のパンデミックの始まりは、タイムリーで病気固有の質問に答えるために、バイオメディカル文献へのアクセスの必要性を強調した。
我々は、深層ニューラルネットワークQAモデルのトレーニングにおいて、弱い監視とデータ拡張が果たす役割について検討する。
システムの中核部におけるQAモデルのコンテキストにおける手法の評価を行い、COVID-19に関する質問に答える。
論文 参考訳（メタデータ） (2023-09-28T05:16:51Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z) - Top K Relevant Passage Retrieval for Biomedical Question Answering [1.0636004442689055]
質問応答は、大量の文書を用いて事実のない質問に答えるタスクである。
既存のDense Passage Retrievalモデルは、2018年12月20日からWikipediaでトレーニングされている。
本研究では, バイオメディカル領域における既存のDPRフレームワークについて検討し, 医療上の疑問に答える信頼できる情報源である Pubmed の記事から回答を得た。
論文 参考訳（メタデータ） (2023-08-08T04:06:11Z) - WebCPM: Interactive Web Search for Chinese Long-form Question Answering [104.676752359777]
LFQA(Long-form Question answering)は、複雑でオープンな質問に、段落長の詳細な回答で答えることを目的としている。
中国初のLFQAデータセットであるWebCPMを紹介する。
高品質な質問応答対5,500件,支援事実14,315件,Web検索121,330件を収集した。
論文 参考訳（メタデータ） (2023-05-11T14:47:29Z) - Medical Question Understanding and Answering with Knowledge Grounding
and Semantic Self-Supervision [53.692793122749414]
本稿では,知識基盤とセマンティック・セルフスーパービジョンを備えた医療質問理解・回答システムについて紹介する。
我々のシステムは、まず、教師付き要約損失を用いて、長い医学的、ユーザによる質問を要約するパイプラインである。
システムはまず、信頼された医療知識ベースから要約されたユーザ質問とFAQとをマッチングし、対応する回答文書から一定の数の関連文を検索する。
論文 参考訳（メタデータ） (2022-09-30T08:20:32Z) - UIT-ViCoV19QA: A Dataset for COVID-19 Community-based Question Answering
on Vietnamese Language [0.0]
UIT-ViCoV19QAと呼ばれる新型コロナウイルスの質問応答システムを開発するためのベトナム初のコミュニティベースの質問応答データセットを提示する。
このデータセットは、信頼できる医療ソースから収集された4,500の質問回答ペアで構成されており、少なくとも1つの回答と、質問毎に4つの独自のパラフレーズの回答がある。
論文 参考訳（メタデータ） (2022-09-14T14:24:23Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - Effective Transfer Learning for Identifying Similar Questions: Matching
User Questions to COVID-19 FAQs [5.512295869673147]
医療質問応答対にニューラルネットワークを事前学習する2つの微調整アプローチが,医療質問類似性を決定するのに有用な中間課題であることを示す。
また、トレーニングされたモデルを使用して、ユーザの質問と新型コロナウイルス関連のFAQをマッチングする、現在稼働中のシステムについても説明する。
論文 参考訳（メタデータ） (2020-08-04T18:20:04Z) - On the Generation of Medical Dialogues for COVID-19 [60.63485429268256]
新型コロナウイルス関連の症状を患ったり、危険因子に晒されたりする人は、医師に相談する必要がある。
医療専門家が不足しているため、多くの人がオンライン相談を受けることができない。
本研究の目的は、新型コロナウイルス関連の相談を提供する医療対話システムの構築である。
論文 参考訳（メタデータ） (2020-05-11T21:23:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。