論文の概要: TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction

• arxiv url: http://arxiv.org/abs/2407.10510v2
• Date: Thu, 12 Dec 2024 10:40:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:29:51.021087
• Title: TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction
• Title（参考訳）: TCM-FTP:草本述語予測のための微調整大言語モデル
• Authors: Xingzhi Zhou, Xin Dong, Chunhao Li, Yuning Bai, Yulong Xu, Ka Chun Cheung, Simon See, Xinpeng Song, Runshun Zhang, Xuezhong Zhou, Nevin L. Zhang,
• Abstract要約: 伝統的な中国医学(TCM)は、様々な症状や兆候を何千年も治療するために処方薬中のハーブの特定の組み合わせに依存してきた。 TCM処方薬の予測は、重要な実用上の意味を持つ、魅力的な技術的課題を生じさせる。 textitDigestDSは、消化器系疾患の経験者による医療記録を含む新しいデータセットである。 また、textitDigestDS上で教師付き微調整を行うことで、事前訓練された大規模言語モデル(LLM)を活用するためのTCM-FTP(TCM Fine-Tuning Pre-trained)を提案する。
• 参考スコア（独自算出の注目度）: 17.041413449854915
• License:
• Abstract: Traditional Chinese medicine (TCM) has relied on specific combinations of herbs in prescriptions to treat various symptoms and signs for thousands of years. Predicting TCM prescriptions poses a fascinating technical challenge with significant practical implications. However, this task faces limitations due to the scarcity of high-quality clinical datasets and the complex relationship between symptoms and herbs. To address these issues, we introduce \textit{DigestDS}, a novel dataset comprising practical medical records from experienced experts in digestive system diseases. We also propose a method, TCM-FTP (TCM Fine-Tuning Pre-trained), to leverage pre-trained large language models (LLMs) via supervised fine-tuning on \textit{DigestDS}. Additionally, we enhance computational efficiency using a low-rank adaptation technique. Moreover, TCM-FTP incorporates data augmentation by permuting herbs within prescriptions, exploiting their order-agnostic nature. Impressively, TCM-FTP achieves an F1-score of 0.8031, significantly outperforming previous methods. Furthermore, it demonstrates remarkable accuracy in dosage prediction, achieving a normalized mean square error of 0.0604. In contrast, LLMs without fine-tuning exhibit poor performance. Although LLMs have demonstrated wide-ranging capabilities, our work underscores the necessity of fine-tuning for TCM prescription prediction and presents an effective way to accomplish this.
• Abstract（参考訳）: 伝統的な中国医学(TCM)は、様々な症状や兆候を何千年も治療するために処方薬中のハーブの特定の組み合わせに依存してきた。 TCM処方薬の予測は、重要な実用上の意味を持つ、魅力的な技術的課題を生じさせる。 しかし、高品質な臨床データセットの不足と症状とハーブの複雑な関係により、この課題は制限に直面している。 これらの課題に対処するために,消化器系疾患の経験者による医療記録を含む新しいデータセット「textit{DigestDS}」を紹介した。 また,事前訓練された大規模言語モデル(LLM)をtextit{DigestDS} 上で教師付き微調整により活用する TCM-FTP (TCM Fine-Tuning Pre-trained) を提案する。 また,低ランク適応手法を用いて計算効率を向上させる。 さらに、TCM-FTPは、ハーブを処方薬に置換し、その順序に依存しない性質を活用することで、データ拡張を取り入れている。 印象的なことに、TCM-FTPはF1スコア0.8031を達成し、従来の手法よりも大幅に優れていた。 さらに, 平均2乗誤差0.0604を正規化することにより, 投薬予測における顕著な精度を示す。 対照的に、微調整のないLLMは性能が劣っている。 LLMは広範囲の能力を示してきたが、我々の研究はTCM処方の微調整の必要性を強調し、これを実現する効果的な方法を示している。

関連論文リスト

• FineMedLM-o1: Enhancing the Medical Reasoning Ability of LLM from Supervised Fine-Tuning to Test-Time Training [12.1175788614508]
  FineMedLM-o1は医学的推論のための大きな言語モデルである。 Supervised Fine-Tuning (SFT) と Direct Preference Optimization (DPO) のための高品質な合成医療データと長文推論データを用いる。 また,臨床領域でテストタイムトレーニング(TTT)を初めて導入し,ドメイン適応の促進と信頼性,正確な推論の確保を図った。
  論文  参考訳（メタデータ） (2025-01-16T00:19:19Z)
• BianCang: A Traditional Chinese Medicine Large Language Model [22.582027277167047]
  BianCangはTCM固有の大規模言語モデル(LLM)で、まずドメイン固有の知識を注入し、目標とする刺激によって調整する。 実際の病院記録に基づく事前学習コーパス,ChP-TCMデータセット,および中華人民共和国の薬局類由来のChP-TCMデータセットを構築した。 我々は,TCMの理解を深めるための包括的なデータセットを構築し,連続的な事前学習と微調整のための広範囲なTCMと医療コーパスを収集した。
  論文  参考訳（メタデータ） (2024-11-17T10:17:01Z)
• Fine Tuning Large Language Models for Medicine: The Role and Importance of Direct Preference Optimization [2.096816583842973]
  ファインチューニングの最も一般的な2つの方法は、スーパーバイザード・ファインチューニング(SFT)と直接選好最適化(DPO)である。 医学における5つの共通自然言語タスクにおけるSFTとDPOの性能を比較した。 SFTだけではテキストデータの分類に十分であるのに対し、DPOは、より複雑な臨床推論、要約、臨床トリアージのタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-09-19T13:03:24Z)
• GIFT-SW: Gaussian noise Injected Fine-Tuning of Salient Weights for LLMs [51.02233412547456]
  我々は,Gaussian noise Injected Fine Tuning of Salient Weights (GIFT-SW)と呼ばれる新しいPEFT法を提案する。 本手法では, ガウス雑音を非正弦波に注入しながら, 正弦波列のみを更新する。 LLaMAモデルによる実験により、GIFT-SWは、同じ計算予算の下で、完全な微調整および現代的なPEFTメソッドよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-27T14:41:14Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• RoKEPG: RoBERTa and Knowledge Enhancement for Prescription Generation of Traditional Chinese Medicine [2.1098688291287475]
  漢方薬の処方生成のためのRoBERTaと知識強化モデル(RoKEPG)を提案する。 RoKEPGは、アテンションマスクマトリックスを通して、TCMの知識の4つのクラスを導入することで、TCM処方薬を生成するためにガイドされる。 一般に公開されているTCM処方データセットの実験結果から、RoKEPGはベースラインモデルよりも約2%改善していることがわかった。
  論文  参考訳（メタデータ） (2023-11-29T01:59:38Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine [11.537289359051975]
  ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。 そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
  論文  参考訳（メタデータ） (2023-11-03T08:54:50Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Syndrome-aware Herb Recommendation with Multi-Graph Convolution Network [49.85331664178196]
  ハーブレコメンデーションは、中国伝統医学の治療過程において重要な役割を担っている。 ハーブ推薦を考慮した暗黙的シンドローム誘導法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:56:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。