論文の概要: Enhancing Small Medical Learners with Privacy-preserving Contextual Prompting
- arxiv url: http://arxiv.org/abs/2305.12723v2
- Date: Thu, 16 May 2024 05:53:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 19:43:51.621092
- Title: Enhancing Small Medical Learners with Privacy-preserving Contextual Prompting
- Title（参考訳）: プライバシ保護型コンテキストプロンプトによる小学生の育成
- Authors: Xinlu Zhang, Shiyang Li, Xianjun Yang, Chenxin Tian, Yao Qin, Linda Ruth Petzold,
- Abstract要約: 本稿では,大規模言語モデルの専門知識を活用して,プライバシ制限シナリオ下での医療タスクにおけるSLM性能を向上させる手法を提案する。
具体的には、医療データからキーワードを抽出し、LLMに医療知識集約的なコンテキストを生成することで、患者のプライバシ問題を緩和する。
本手法は,3つの医療知識集約タスクにおいて,数ショットとフルトレーニングの双方において,パフォーマンスを著しく向上させる。
- 参考スコア（独自算出の注目度）: 24.201549275369487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) demonstrate remarkable medical expertise, but data privacy concerns impede their direct use in healthcare environments. Although offering improved data privacy protection, domain-specific small language models (SLMs) often underperform LLMs, emphasizing the need for methods that reduce this performance gap while alleviating privacy concerns. In this paper, we present a simple yet effective method that harnesses LLMs' medical proficiency to boost SLM performance in medical tasks under privacy-restricted scenarios. Specifically, we mitigate patient privacy issues by extracting keywords from medical data and prompting the LLM to generate a medical knowledge-intensive context by simulating clinicians' thought processes. This context serves as additional input for SLMs, augmenting their decision-making capabilities. Our method significantly enhances performance in both few-shot and full training settings across three medical knowledge-intensive tasks, achieving up to a 22.57% increase in absolute accuracy compared to SLM fine-tuning without context, and sets new state-of-the-art results in two medical tasks within privacy-restricted scenarios. Further out-of-domain testing and experiments in two general domain datasets showcase its generalizability and broad applicability. Our code can be found at https://github.com/XZhang97666/PrivacyBoost-SLM.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、優れた医療専門知識を示すが、データプライバシに関する懸念は、医療環境における彼らの直接的な使用を妨げている。
データプライバシ保護の改善にもかかわらず、ドメイン固有小言語モデル(SLM)はLLMを過小評価することが多く、プライバシの懸念を緩和しつつ、このパフォーマンスギャップを減らす方法の必要性を強調している。
本稿では, LLMの医療能力を利用して, プライバシ制限シナリオ下での医療作業におけるSLM性能を向上させるための, シンプルかつ効果的な手法を提案する。
具体的には、医療データからキーワードを抽出し、臨床医の思考過程をシミュレートし、LLMに医療知識集約的な文脈を創出することにより、患者のプライバシ問題を緩和する。
このコンテキストは、SLMのさらなるインプットとして機能し、意思決定能力を増強します。
本手法は,3つの医学的知識集約型タスクにおいて,ショットとフルトレーニングの両方のパフォーマンスを著しく向上させ,文脈のないSLMファインタニングに比べて最大22.57%の精度向上を実現し,プライバシ制約のあるシナリオにおける2つの医学的タスクにおいて,新たな最先端の成果を新たに設定する。
ドメイン外のテストと2つの一般的なドメインデータセットの実験は、その一般化性と幅広い適用性を示している。
私たちのコードはhttps://github.com/XZhang97666/PrivacyBoost-SLMで確認できます。
関連論文リスト
- Knowledge-grounded Adaptation Strategy for Vision-language Models: Building Unique Case-set for Screening Mammograms for Residents Training [5.819704618007536]
自然画像とテキストペアに事前訓練された視覚言語モデル(VLM)は、医学的文脈に適用した場合、大きな障壁となる。
本稿では, 選択的サンプリング法と強陰性マイニング法を用いて, VLMを医療領域に適応させるフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-30T04:04:36Z) - D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models [5.439020425819001]
大規模言語モデル(LLM)は、様々なタスクにおける顕著なパフォーマンスのために、大きな注目を集め、広く使われている。
しかし、幻覚、事実的矛盾、数値的定量的推論の限界などの問題を含む、彼ら自身の課題は存在しない。
論文 参考訳（メタデータ） (2024-05-07T10:11:14Z) - On-the-fly Definition Augmentation of LLMs for Biomedical NER [28.02028191114401]
LLMは、専門用語と訓練データの欠如により、生物医学的なNERタスクに苦慮している。
我々は,関連する概念の定義をオンザフライで組み込んだ知識増強手法を開発した。
注意的なプロンプト戦略はLLMの性能も向上し、微調整された言語モデルを数ショット設定で上回ることができることがわかった。
論文 参考訳（メタデータ） (2024-03-29T20:59:27Z) - Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。
従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。
対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
論文 参考訳（メタデータ） (2024-03-28T19:31:32Z) - Towards Training A Chinese Large Language Model for Anesthesiology [37.44529879903248]
既存の医療用大言語モデル(例えばLlama)に基づいて構築された中国語麻酔モデルを紹介する。
ヒュプノスの貢献には3つの側面がある: 1) 現在のLSMから取得した自己指示(Self-Instruct)などのデータは、おそらく不正確である。
Hypnos は、一般的な医学データを用いて微調整 LLM から始まり、麻酔学からのデータを用いて微調整 LLM を改善する、汎用的な訓練戦略を採用している。
論文 参考訳（メタデータ） (2024-03-05T07:53:49Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳（メタデータ） (2024-02-15T16:21:14Z) - AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。
この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。
高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
論文 参考訳（メタデータ） (2024-02-15T06:46:48Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳（メタデータ） (2024-02-05T08:25:22Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳（メタデータ） (2023-03-23T04:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。