論文の概要: Efficient Medical Question Answering with Knowledge-Augmented Question Generation

• arxiv url: http://arxiv.org/abs/2405.14654v1
• Date: Thu, 23 May 2024 14:53:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:26:04.232006
• Title: Efficient Medical Question Answering with Knowledge-Augmented Question Generation
• Title（参考訳）: 知識付加型質問生成による効果的な医療質問応答
• Authors: Julien Khlaut, Corentin Dancette, Elodie Ferreres, Alaedine Bennani, Paul Hérent, Pierre Manceron,
• Abstract要約: 本稿では,医療領域における小言語モデルの習熟度を2倍のアプローチで向上させる手法を提案する。 まず、医療教科書のコーパスでモデルを微調整する。 そして、GPT-4を用いて、下流タスクに類似した質問を生成し、教科書の知識でトリガーし、モデルを微調整する。
• 参考スコア（独自算出の注目度）: 5.145812785735094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the expanding field of language model applications, medical knowledge representation remains a significant challenge due to the specialized nature of the domain. Large language models, such as GPT-4, obtain reasonable scores on medical question answering tasks, but smaller models are far behind. In this work, we introduce a method to improve the proficiency of a small language model in the medical domain by employing a two-fold approach. We first fine-tune the model on a corpus of medical textbooks. Then, we use GPT-4 to generate questions similar to the downstream task, prompted with textbook knowledge, and use them to fine-tune the model. Additionally, we introduce ECN-QA, a novel medical question answering dataset containing ``progressive questions'' composed of related sequential questions. We show the benefits of our training strategy on this dataset. The study's findings highlight the potential of small language models in the medical domain when appropriately fine-tuned. The code and weights are available at https://github.com/raidium-med/MQG.
• Abstract（参考訳）: 言語モデル応用の分野が拡大する中で、医療知識の表現はドメインの特殊性のために依然として重要な課題である。 GPT-4のような大規模言語モデルは、医学的質問応答タスクにおいて妥当なスコアを得るが、より小さなモデルははるかに遅れている。 本研究では,医療領域における小言語モデルの習熟度を2倍のアプローチで向上させる手法を提案する。 まず、医療教科書のコーパスでモデルを微調整する。 そして、GPT-4を用いて、下流タスクに類似した質問を生成し、教科書の知識でトリガーし、モデルを微調整する。 さらに,関連する質問からなる「プログレッシブな質問」を含む新しい医療質問応答データセットであるECN-QAを紹介する。 このデータセットでトレーニング戦略の利点を示す。 この研究は、適切に微調整された場合の医療領域における小言語モデルの可能性を浮き彫りにした。 コードとウェイトはhttps://github.com/raidium-med/MQG.comで公開されている。

関連論文リスト

• How do you know that? Teaching Generative Language Models to Reference Answers to Biomedical Questions [0.0]
  大規模言語モデル(LLM)が最近,ユーザの質問に対するオンライン回答の主要なソースになっている。 雄弁な答えを提供する能力があるにもかかわらず、その正確さと信頼性は重大な課題となる。 本稿では, バイオメディカル検索強化生成システム(RAG)を導入し, 生成した応答の信頼性を高める。
  論文  参考訳（メタデータ） (2024-07-06T09:10:05Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Visual Question Answering in the Medical Domain [13.673890873313354]
  本稿では,Med-VQAタスクのための小さなデータセットの問題を軽減するために,新しいコントラスト学習事前学習手法を提案する。 提案モデルでは,VQA-Med 2019テストセットで60%の精度を達成し,他の最先端のMed-VQAモデルに匹敵する結果を得た。
  論文  参考訳（メタデータ） (2023-09-20T06:06:10Z)
• Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
  医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。 OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。 本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
  論文  参考訳（メタデータ） (2023-07-27T20:36:02Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• ViMQ: A Vietnamese Medical Question Dataset for Healthcare Dialogue System Development [1.4315915057750197]
  ベトナムでは,文レベルおよびエンティティレベルのアノテーションを持つ患者からの医療質問のデータセットを公開している。 本研究では,スパンノイズモデルを用いた簡易な自己教師型学習手法を提案する。
  論文  参考訳（メタデータ） (2023-04-27T17:59:53Z)
• Open-Ended Medical Visual Question Answering Through Prefix Tuning of Language Models [42.360431316298204]
  我々は、VQAのオープン化に重点を置いており、近年の言語モデルの発展によって、VQAを生成タスクと見なされている。 医療画像を言語モデルに適切に伝達するために,抽出した視覚的特徴を学習可能なトークンの集合にマッピングするネットワークを開発する。 我々は、Slake、OVQA、PathVQAといった主要な医療用VQAベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-03-10T15:17:22Z)
• Contextual embedding and model weighting by fusing domain knowledge on Biomedical Question Answering [5.294803923794887]
  本稿では,バイオメディカルドメインデータに基づいて事前学習したオープンドメインモデルaoaとbiobertモデルを組み合わせた文脈的手法を提案する。 我々は,大規模バイオメディカルコーパスの教師なし事前学習を採用し,バイオメディカル質問応答の教師なし微調整を行った。 実験結果から,我々のモデルは最先端システムよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2022-06-26T12:47:38Z)
• Scientific Language Models for Biomedical Knowledge Base Completion: An Empirical Study [62.376800537374024]
  我々は,KG の完成に向けた科学的 LM の研究を行い,生物医学的リンク予測を強化するために,その潜在知識を活用できるかどうかを探る。 LMモデルとKG埋め込みモデルを統合し,各入力例をいずれかのモデルに割り当てることを学ぶルータ法を用いて,性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-17T17:55:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。