論文の概要: XAIQA: Explainer-Based Data Augmentation for Extractive Question Answering

• arxiv url: http://arxiv.org/abs/2312.03567v1
• Date: Wed, 6 Dec 2023 15:59:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 14:21:05.148651
• Title: XAIQA: Explainer-Based Data Augmentation for Extractive Question Answering
• Title（参考訳）: XAIQA: 抽出質問回答のための説明者に基づくデータ拡張
• Authors: Joel Stremmel, Ardavan Saeedi, Hamid Hassanzadeh, Sanjit Batra, Jeffrey Hertzberg, Jaime Murillo, Eran Halperin
• Abstract要約: 我々は,電子カルテで自然に利用可能なデータから,合成QAペアを大規模に生成するための新しいアプローチであるXAIQAを紹介する。 本手法は、分類モデル説明器の考え方を用いて、医療規範に対応する医療概念に関する質問や回答を生成する。
• 参考スコア（独自算出の注目度）: 1.1867812760085572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extractive question answering (QA) systems can enable physicians and researchers to query medical records, a foundational capability for designing clinical studies and understanding patient medical history. However, building these systems typically requires expert-annotated QA pairs. Large language models (LLMs), which can perform extractive QA, depend on high quality data in their prompts, specialized for the application domain. We introduce a novel approach, XAIQA, for generating synthetic QA pairs at scale from data naturally available in electronic health records. Our method uses the idea of a classification model explainer to generate questions and answers about medical concepts corresponding to medical codes. In an expert evaluation with two physicians, our method identifies $2.2\times$ more semantic matches and $3.8\times$ more clinical abbreviations than two popular approaches that use sentence transformers to create QA pairs. In an ML evaluation, adding our QA pairs improves performance of GPT-4 as an extractive QA model, including on difficult questions. In both the expert and ML evaluations, we examine trade-offs between our method and sentence transformers for QA pair generation depending on question difficulty.
• Abstract（参考訳）: 抽出質問応答(QA)システムは、医師や研究者が臨床研究を設計し、患者の医療史を理解するための基礎的能力である医療記録を照会することができる。 しかしながら、これらのシステムを構築するには、一般的に専門家によるQAペアが必要です。 抽出QAが可能な大規模言語モデル(LLM)は、アプリケーションドメインに特化したプロンプト内の高品質なデータに依存する。 電子カルテで自然に利用できるデータから合成QAペアを大規模に生成するための新しい手法XAIQAを導入する。 本手法では,分類モデル説明器の考え方を用いて,医学的概念に関する質問や回答を生成する。 2人の医師による専門的な評価において、本手法は、文変換器を用いてQAペアを作成する2つの一般的なアプローチよりも、2.2\times$より多くの意味マッチングと3.8\times$以上の臨床的略語を識別する。 ML評価では,難解な質問を含む抽出QAモデルとして,GPT-4の性能向上を図る。 エキスパート評価とml評価の両方において,質問の難易度に応じて,qaペア生成のための文変換器と手法のトレードオフについて検討した。

関連論文リスト

• RealMedQA: A pilot biomedical question answering dataset containing realistic clinical questions [3.182594503527438]
  本稿では,人間とLLMが生み出す現実的な臨床質問のデータセットであるRealMedQAを紹介する。 LLMは「理想的な」QAペアを生成するのに、よりコスト効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-08-16T09:32:43Z)
• A Joint-Reasoning based Disease Q&A System [6.117758142183177]
  医療質問応答(QA)アシスタントは、複数のソースから情報を合成することで、レイユーザーの健康関連クエリに応答する。 彼らは、誤った情報、情報過負荷、医療言語の複雑さの問題を緩和するための重要なツールとして機能する。
  論文  参考訳（メタデータ） (2024-01-06T09:55:22Z)
• SQUARE: Automatic Question Answering Evaluation using Multiple Positive and Negative References [73.67707138779245]
  SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。 文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
  論文  参考訳（メタデータ） (2023-09-21T16:51:30Z)
• Q2ATransformer: Improving Medical VQA via an Answer Querying Decoder [39.06513668037645]
  医療用VQA(Q2A Transformer)のためのトランスフォーマーベースの新しいフレームワークを提案する。 与えられた画像検索ペアに対して,各回答クラスの存在を問うために,学習可能な解答の組を付加したTransformerデコーダを導入する。 本手法は,2つの医用VQAベンチマークにおいて,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-04-04T08:06:40Z)
• Relation-Guided Pre-Training for Open-Domain Question Answering [67.86958978322188]
  複雑なオープンドメイン問題を解決するためのRGPT-QA(Relation-Guided Pre-Training)フレームワークを提案する。 RGPT-QAは, 自然質問, TriviaQA, WebQuestionsにおいて, Exact Matchの精度が2.2%, 2.4%, 6.3%向上したことを示す。
  論文  参考訳（メタデータ） (2021-09-21T17:59:31Z)
• Improving Unsupervised Question Answering via Summarization-Informed Question Generation [47.96911338198302]
  質問生成 (QG) とは, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文, 質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、質問文、 我々は、自由なニュース要約データを使用し、宣言文を依存性解析、名前付きエンティティ認識、セマンティックロールラベリングを用いて適切な質問に変換する。 得られた質問は、元のニュース記事と組み合わせて、エンドツーエンドのニューラルQGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-09-16T13:08:43Z)
• CliniQG4QA: Generating Diverse Questions for Domain Adaptation of Clinical Question Answering [27.45623324582005]
  臨床質問応答(英: Clinical Question answering, QA)は、臨床テキストに基づく医療専門家の質問に自動的に答えることを目的としている。 CliniQG4QAを提案する。これは質問生成(QG)を利用して、新しい臨床状況に基づいてQAペアを合成する。 QAモデルのトレーニングに不可欠な多様な質問を生成するために,Seq2seqベースの質問句予測(QPP)モジュールを導入する。
  論文  参考訳（メタデータ） (2020-10-30T02:06:10Z)
• Interpretable Multi-Step Reasoning with Knowledge Extraction on Complex Healthcare Question Answering [89.76059961309453]
  HeadQAデータセットには、公衆医療専門試験で認可された複数の選択質問が含まれている。 これらの質問は、現在のQAシステムにとって最も難しいものです。 知識抽出フレームワーク(MurKe)を用いた多段階推論を提案する。 市販の事前訓練モデルを完全に活用しようと努力しています。
  論文  参考訳（メタデータ） (2020-08-06T02:47:46Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• Harvesting and Refining Question-Answer Pairs for Unsupervised QA [95.9105154311491]
  教師なし質問回答(QA)を改善するための2つのアプローチを提案する。 まず、ウィキペディアから語彙的・構文的に異なる質問を抽出し、質問応答対のコーパスを自動的に構築する(RefQAと名づけられる)。 第2に、より適切な回答を抽出するためにQAモデルを活用し、RefQA上でデータを反復的に洗練する。
  論文  参考訳（メタデータ） (2020-05-06T15:56:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。