論文の概要: Large Language Model Distilling Medication Recommendation Model

• arxiv url: http://arxiv.org/abs/2402.02803v2
• Date: Mon, 27 Jan 2025 04:30:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 21:57:03.17246
• Title: Large Language Model Distilling Medication Recommendation Model
• Title（参考訳）: 医薬推奨モデルを用いた大規模言語モデル
• Authors: Qidong Liu, Xian Wu, Xiangyu Zhao, Yuanshao Zhu, Zijian Zhang, Feng Tian, Yefeng Zheng,
• Abstract要約: 大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
• 参考スコア（独自算出の注目度）: 58.94186280631342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recommendation of medication is a vital aspect of intelligent healthcare systems, as it involves prescribing the most suitable drugs based on a patient's specific health needs. Unfortunately, many sophisticated models currently in use tend to overlook the nuanced semantics of medical data, while only relying heavily on identities. Furthermore, these models face significant challenges in handling cases involving patients who are visiting the hospital for the first time, as they lack prior prescription histories to draw upon. To tackle these issues, we harness the powerful semantic comprehension and input-agnostic characteristics of Large Language Models (LLMs). Our research aims to transform existing medication recommendation methodologies using LLMs. In this paper, we introduce a novel approach called Large Language Model Distilling Medication Recommendation (LEADER). We begin by creating appropriate prompt templates that enable LLMs to suggest medications effectively. However, the straightforward integration of LLMs into recommender systems leads to an out-of-corpus issue specific to drugs. We handle it by adapting the LLMs with a novel output layer and a refined tuning loss function. Although LLM-based models exhibit remarkable capabilities, they are plagued by high computational costs during inference, which is impractical for the healthcare sector. To mitigate this, we have developed a feature-level knowledge distillation technique, which transfers the LLM's proficiency to a more compact model. Extensive experiments conducted on two real-world datasets, MIMIC-III and MIMIC-IV, demonstrate that our proposed model not only delivers effective results but also is efficient. To ease the reproducibility of our experiments, we release the implementation code online.
• Abstract（参考訳）: 医薬品の推奨は、患者の特定の健康ニーズに基づいて最も適した薬物を処方することを含む、インテリジェントヘルスケアシステムの重要な側面である。 残念ながら、現在使われている多くの高度なモデルは、アイデンティティにのみ依存しながら、医療データの微妙なセマンティクスを見落としてしまう傾向にある。 さらに、これらのモデルは、患者が最初に来院するケースを扱う上で重要な課題に直面している。 これらの課題に対処するために,Large Language Models (LLMs) の強力な意味理解と入力に依存しない特徴を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 本稿では,Large Language Model Distilling Medication Recommendation (LEADER)と呼ばれる新しいアプローチを提案する。 まず、LSMが医薬品を効果的に提案できる適切なプロンプトテンプレートを作成することから始める。 しかし、LSMをレコメンデーターシステムに簡単に統合することは、薬物に特有のアウト・オブ・コーパスの問題につながる。 LLMを新しい出力層と改良されたチューニング損失関数に適応させることで処理を行う。 LLMベースのモデルは優れた能力を示すが、推論時に高い計算コストに悩まされ、医療分野では実用的ではない。 そこで我々は,LLMの習熟度をよりコンパクトなモデルに変換する機能レベルの知識蒸留技術を開発した。 実世界の2つのデータセット(MIMIC-IIIとMIMIC-IV)で行った大規模な実験により,提案モデルが有効な結果を提供するだけでなく,効率的であることを示す。 実験の再現性を向上するため,実装コードをオンラインで公開しています。

関連論文リスト

• Medical large language models are easily distracted [0.8211696054238238]
  大規模言語モデル(LLM)は医学を変革する可能性を持っているが、実際の臨床シナリオには、パフォーマンスを妨げる余分な情報が含まれている。 MedDistractQAは,実世界の気晴らしをシミュレートしたUSMLEスタイルの質問を用いたベンチマークである。
  論文  参考訳（メタデータ） (2025-04-01T21:34:01Z)
• Addressing Overprescribing Challenges: Fine-Tuning Large Language Models for Medication Recommendation Tasks [46.95099594570405]
  医療レコメンデーションシステムは、患者の臨床データに基づいて、パーソナライズされた効果的な薬物の組み合わせを提供する可能性について、医療機関内で注目を集めている。 既存の手法は、多様な電子健康記録(EHR)システムに適応する際の課題に直面する。 本稿では,Language-Assisted Medication Recommendation (LAMO)を提案する。
  論文  参考訳（メタデータ） (2025-03-05T17:28:16Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Leveraging Large Language Models for Medical Information Extraction and Query Generation [2.1793134762413433]
  本稿では,大言語モデル(LLM)を臨床試験検索プロセスに統合するシステムを提案する。 クエリ生成には6つのLCMを評価し,最小限の計算資源を必要とする,オープンソースと比較的小さなモデルに着目した。
  論文  参考訳（メタデータ） (2024-10-31T12:01:51Z)
• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
  医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。 ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
  論文  参考訳（メタデータ） (2024-10-21T07:19:19Z)
• Aligning (Medical) LLMs for (Counterfactual) Fairness [2.089191490381739]
  大規模言語モデル(LLM)は、医療および臨床決定支援アプリケーションのための有望なソリューションとして登場した。 LLMは様々な種類のバイアスを受けており、個人の不公平な扱い、健康格差の悪化、AIが強化された医療ツールへの信頼の低下につながる可能性がある。 本稿では, 知識蒸留フレームワークにおける優先最適化手法を用いて, LLMの整列化のための新しいモデルアライメント手法を提案する。
  論文  参考訳（メタデータ） (2024-08-22T01:11:27Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。 また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。 本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• Can LLMs' Tuning Methods Work in Medical Multimodal Domain? [14.659849302397433]
  大言語モデル(LLM)は世界知識の理解に優れ、特定のサブフィールドに適応するには正確な調整が必要である。 LLM(Large Vision-Language Models)とLVLM(Large Vision-Language Models)の両方において,PEFT法が出現し,大きな成功を収めている。 転帰学習効率を高めるため,大規模モデルの微調整法を医療分野に移行することは可能か?
  論文  参考訳（メタデータ） (2024-03-11T03:38:48Z)
• Mitigating Object Hallucination in Large Vision-Language Models via Classifier-Free Guidance [56.04768229686853]
  LVLM(Large Vision-Language Models)は、画像中の既存の物体を幻覚させる傾向がある。 私たちはclassifieR-Free guIdaNcE (MARINE)を介してMitigating HallucinAtionと呼ばれるフレームワークを導入する。 MARINEはトレーニングフリーかつAPIフリーであり、生成プロセス中のオブジェクト幻覚を効果的かつ効率的に低減することができる。
  論文  参考訳（メタデータ） (2024-02-13T18:59:05Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Improving Small Language Models on PubMedQA via Generative Data Augmentation [4.96649519549027]
  大規模言語モデル (LLM) は自然言語処理の分野で顕著な進歩を遂げている。 小型言語モデル(SLM)はその効率で知られているが、限られた能力と訓練データに悩まされることが多い。 医療領域におけるSLMの改善を目的とした,LLMに基づく生成データ拡張を用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-12T23:49:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。