論文の概要: Give me Some Hard Questions: Synthetic Data Generation for Clinical QA

• arxiv url: http://arxiv.org/abs/2412.04573v1
• Date: Thu, 05 Dec 2024 19:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:45.673878
• Title: Give me Some Hard Questions: Synthetic Data Generation for Clinical QA
• Title（参考訳）: 難しい質問:臨床QAのための合成データ生成
• Authors: Fan Bai, Keith Harrigian, Joel Stremmel, Hamid Hassanzadeh, Ardavan Saeedi, Mark Dredze,
• Abstract要約: 本稿では,ゼロショット環境での大規模言語モデル(LLM)を用いた臨床QAデータの生成について検討する。 ナイーブなプロンプトが臨床シナリオの複雑さを反映しない簡単な質問をもたらすことがよくあります。 2つの臨床QAデータセットを用いた実験により,本手法はより難解な質問を発生し,ベースライン上での微調整性能を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 13.436187152293515
• License:
• Abstract: Clinical Question Answering (QA) systems enable doctors to quickly access patient information from electronic health records (EHRs). However, training these systems requires significant annotated data, which is limited due to the expertise needed and the privacy concerns associated with clinical data. This paper explores generating Clinical QA data using large language models (LLMs) in a zero-shot setting. We find that naive prompting often results in easy questions that do not reflect the complexity of clinical scenarios. To address this, we propose two prompting strategies: 1) instructing the model to generate questions that do not overlap with the input context, and 2) summarizing the input record using a predefined schema to scaffold question generation. Experiments on two Clinical QA datasets demonstrate that our method generates more challenging questions, significantly improving fine-tuning performance over baselines. We compare synthetic and gold data and find a gap between their training efficacy resulting from the quality of synthetically generated answers.
• Abstract（参考訳）: 臨床質問応答 (QA) システムにより、医師は電子健康記録(EHR)から患者の情報に素早くアクセスできる。 しかし、これらのシステムのトレーニングには、専門知識と臨床データに関連するプライバシー上の懸念のために制限された、重要な注釈付きデータが必要である。 本稿では,ゼロショット環境での大規模言語モデル(LLM)を用いた臨床QAデータの生成について検討する。 ナイーブなプロンプトが臨床シナリオの複雑さを反映しない簡単な質問をもたらすことがよくあります。 この問題に対処するため、我々は2つのプロンプト戦略を提案する。 1)入力コンテキストと重複しない質問を生成するようモデルに指示し、 2) 事前定義されたスキーマを用いて入力レコードを要約して足場問合せ生成する。 2つの臨床QAデータセットを用いた実験により,本手法はより難解な質問を発生し,ベースライン上での微調整性能を著しく向上することが示された。 合成データと金データを比較し, 合成結果の品質から得られたトレーニングの有効性のギャップを見出した。

関連論文リスト

• RealMedQA: A pilot biomedical question answering dataset containing realistic clinical questions [3.182594503527438]
  本稿では,人間とLLMが生み出す現実的な臨床質問のデータセットであるRealMedQAを紹介する。 LLMは「理想的な」QAペアを生成するのに、よりコスト効率が高いことを示す。
  論文  参考訳（メタデータ） (2024-08-16T09:32:43Z)
• TrialBench: Multi-Modal Artificial Intelligence-Ready Clinical Trial Datasets [57.067409211231244]
  本稿では,マルチモーダルデータ(例えば,薬物分子,疾患コード,テキスト,分類・数値的特徴)と臨床治験設計における8つの重要な予測課題をカバーするAIreadyデータセットを精巧にキュレートした。 データセットのユーザビリティと信頼性を確保するため、各タスクに基本的な検証方法を提供する。 このようなオープンアクセスデータセットが利用可能になることは、臨床試験設計のための高度なAIアプローチの開発を促進することを期待する。
  論文  参考訳（メタデータ） (2024-06-30T09:13:10Z)
• Benchmarking Large Language Models on Answering and Explaining Challenging Medical Questions [19.436999992810797]
  JAMAクリニカルチャレンジとメドブルレットという2つの新しいデータセットを構築した。 JAMAクリニカルチャレンジは、挑戦的な臨床ケースに基づく質問から成り、メドブルレットはシミュレートされた臨床質問から成り立っている。 各種のプロンプトを用いて2つのデータセット上で7つのLSMを評価する。
  論文  参考訳（メタデータ） (2024-02-28T05:44:41Z)
• K-QA: A Real-World Medical Q&A Benchmark [12.636564634626422]
  K-QA(K-QA)は、K Health上での実際の会話から発せられる1,212の患者質問を含むデータセットである。 我々は,K-QAのサブセットを自己完結文に分解するために,内科医のパネルを用いて回答し,手動で分解する。 我々は、いくつかの最先端モデルと、コンテキスト内学習と医学指向の拡張検索スキームの効果を評価した。
  論文  参考訳（メタデータ） (2024-01-25T20:11:04Z)
• Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
  時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである* Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。 Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
  論文  参考訳（メタデータ） (2023-10-28T12:08:03Z)
• Medical Question Summarization with Entity-driven Contrastive Learning [12.008269098530386]
  本稿では,エンティティ駆動型コントラスト学習(ECL)を用いた新しい医療質問要約フレームワークを提案する。 ECLは、しばしば質問される質問(FAQ)に医療機関を採用し、硬い負のサンプルを生成する効果的なメカニズムを考案している。 iCliniqデータセットの33%の重複率など、いくつかのMQAデータセットが深刻なデータ漏洩問題に悩まされていることが分かりました。
  論文  参考訳（メタデータ） (2023-04-15T00:19:03Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Learning to Ask Like a Physician [24.15961995052862]
  2,000以上の質問からなる新たな質問データセットDiSCQについて紹介する。 質問は、100以上のMIMIC-III放電サマリーの医療専門家によって生成される。 我々は、このデータセットを分析し、医療専門家が求めている情報のタイプを特徴付ける。
  論文  参考訳（メタデータ） (2022-06-06T15:50:54Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)
• Where's the Question? A Multi-channel Deep Convolutional Neural Network for Question Identification in Textual Data [83.89578557287658]
  本稿では,実際の質問を分離する目的で,新しい多チャンネル深層畳み込みニューラルネットワークアーキテクチャであるQuest-CNNを提案する。 提案するニューラルネットワークと他のディープニューラルネットワークの総合的な性能比較分析を行った。 提案したQuest-CNNは、透析ケア設定におけるデータエントリレビュー対話のデータセットと一般的なドメインデータセットの両方において、最高のF1スコアを達成した。
  論文  参考訳（メタデータ） (2020-10-15T15:11:22Z)
• DeepEnroll: Patient-Trial Matching with Deep Embedding and Entailment Prediction [67.91606509226132]
  臨床試験は医薬品開発に不可欠であるが、高価で不正確で不十分な患者募集に苦しむことが多い。 DeepEnrollは、入力基準(タブラリデータ)を一致する推論のための共有潜在空間に共同でエンコードする、クロスモーダル推論学習モデルである。
  論文  参考訳（メタデータ） (2020-01-22T17:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。