論文の概要: Enhancing Small Medical Learners with Privacy-preserving Contextual
Prompting
- arxiv url: http://arxiv.org/abs/2305.12723v1
- Date: Mon, 22 May 2023 05:14:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 18:18:06.319951
- Title: Enhancing Small Medical Learners with Privacy-preserving Contextual
Prompting
- Title(参考訳): プライバシ保護型コンテキストプロンプトによる小規模医学学習者の育成
- Authors: Xinlu Zhang, Shiyang Li, Xianjun Yang, Chenxin Tian, Yao Qin, Linda
Ruth Petzold
- Abstract要約: 本稿では,大規模言語モデルの専門知識を活用して,プライバシ制限シナリオ下での医療タスクにおけるSLM性能を向上させる手法を提案する。
具体的には、医療データからキーワードを抽出し、LLMに医療知識集約的なコンテキストを生成することで、患者のプライバシ問題を緩和する。
本手法は,3つの医療知識集約タスクにおいて,数ショットとフルトレーニングの双方において,パフォーマンスを著しく向上させる。
- 参考スコア(独自算出の注目度): 3.79311924442589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) demonstrate remarkable medical expertise, but
data privacy concerns impede their direct use in healthcare environments.
Although offering improved data privacy protection, domain-specific small
language models (SLMs) often underperform LLMs, emphasizing the need for
methods that reduce this performance gap while alleviating privacy concerns. In
this paper, we present a simple yet effective method that harnesses LLMs'
medical proficiency to boost SLM performance in medical tasks under
privacy-restricted scenarios. Specifically, we mitigate patient privacy issues
by extracting keywords from medical data and prompting the LLM to generate a
medical knowledge-intensive context by simulating clinicians' thought
processes. This context serves as additional input for SLMs, augmenting their
decision-making capabilities. Our method significantly enhances performance in
both few-shot and full training settings across three medical
knowledge-intensive tasks, achieving up to a 22.57% increase in absolute
accuracy compared to SLM fine-tuning without context, and sets new
state-of-the-art results in two medical tasks within privacy-restricted
scenarios. Further out-of-domain testing and experiments in two general domain
datasets showcase its generalizability and broad applicability.
- Abstract(参考訳): 大規模言語モデル(LLM)は、優れた医療技術を示すが、データのプライバシーに関する懸念は、医療環境における彼らの直接的な使用を妨げる。
データプライバシ保護が改善されたが、ドメイン特化小言語モデル(slms)はしばしばllmを過小評価しており、プライバシの懸念を緩和しながらこのパフォーマンスギャップを軽減する方法の必要性を強調している。
本稿では, LLMの医療能力を利用して, プライバシ制限シナリオ下での医療作業におけるSLMの性能向上を図る。
具体的には,医療データからキーワードを抽出して患者のプライバシー問題を緩和し,臨床医の思考過程をシミュレートして医療知識集約的なコンテキストを生成する。
このコンテキストは、SLMのさらなるインプットとして機能し、意思決定能力を増強します。
本手法は,3つの医学的知識集約型タスクにおいて,ショットとフルトレーニングの両方のパフォーマンスを著しく向上させ,文脈のないSLMファインタニングに比べて最大22.57%の精度向上を実現し,プライバシ制約のあるシナリオにおける2つの医学的タスクに新たな最先端結果を設定する。
ドメイン外のテストと2つの一般的なドメインデータセットの実験は、その一般化性と幅広い適用性を示している。
関連論文リスト
- D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models [5.439020425819001]
大規模言語モデル(LLM)は、様々なタスクにおける顕著なパフォーマンスのために、大きな注目を集め、広く使われている。
しかし、幻覚、事実的矛盾、数値的定量的推論の限界などの問題を含む、彼ら自身の課題は存在しない。
論文 参考訳(メタデータ) (2024-05-07T10:11:14Z) - On-the-fly Definition Augmentation of LLMs for Biomedical NER [28.02028191114401]
LLMは、専門用語と訓練データの欠如により、生物医学的なNERタスクに苦慮している。
我々は,関連する概念の定義をオンザフライで組み込んだ知識増強手法を開発した。
注意的なプロンプト戦略はLLMの性能も向上し、微調整された言語モデルを数ショット設定で上回ることができることがわかった。
論文 参考訳(メタデータ) (2024-03-29T20:59:27Z) - Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。
従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。
対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
論文 参考訳(メタデータ) (2024-03-28T19:31:32Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。
このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
論文 参考訳(メタデータ) (2024-01-25T17:45:34Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。