論文の概要: TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction
- arxiv url: http://arxiv.org/abs/2407.10510v1
- Date: Mon, 15 Jul 2024 08:06:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 15:50:53.378543
- Title: TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction
- Title(参考訳): TCM-FTP:草本述語予測のための微調整大言語モデル
- Authors: Xingzhi Zhou, Xin Dong, Chunhao Li, Yuning Bai, Yulong Xu, Ka Chun Cheung, Simon See, Xinpeng Song, Runshun Zhang, Xuezhong Zhou, Nevin L. Zhang,
- Abstract要約: 伝統的な中国の医学は、症状や徴候を治療するために処方薬中のハーブの特定の組み合わせに依存している。
本稿では,消化器疾患の経験者による医療記録を含む新しいデータセットであるDigestDSを紹介する。
また、DigDSの教師付き微調整により、事前訓練された大規模言語モデル(LLM)を活用するためのTCM-FTP(TCM Fine-Tuning Pre-trained)を提案する。
- 参考スコア(独自算出の注目度): 17.041413449854915
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional Chinese medicine (TCM) relies on specific combinations of herbs in prescriptions to treat symptoms and signs, a practice that spans thousands of years. Predicting TCM prescriptions presents a fascinating technical challenge with practical implications. However, this task faces limitations due to the scarcity of high-quality clinical datasets and the intricate relationship between symptoms and herbs. To address these issues, we introduce DigestDS, a new dataset containing practical medical records from experienced experts in digestive system diseases. We also propose a method, TCM-FTP (TCM Fine-Tuning Pre-trained), to leverage pre-trained large language models (LLMs) through supervised fine-tuning on DigestDS. Additionally, we enhance computational efficiency using a low-rank adaptation technique. TCM-FTP also incorporates data augmentation by permuting herbs within prescriptions, capitalizing on their order-agnostic properties. Impressively, TCM-FTP achieves an F1-score of 0.8031, surpassing previous methods significantly. Furthermore, it demonstrates remarkable accuracy in dosage prediction, achieving a normalized mean square error of 0.0604. In contrast, LLMs without fine-tuning perform poorly. Although LLMs have shown capabilities on a wide range of tasks, this work illustrates the importance of fine-tuning for TCM prescription prediction, and we have proposed an effective way to do that.
- Abstract(参考訳): 伝統的な中国医学(TCM)は、症状や徴候を治療するために処方薬中のハーブの特定の組み合わせに依存している。
TCM処方薬の予測は、実際的な意味を持つ興味深い技術的課題を示す。
しかし、高品質な臨床データセットの不足と症状とハーブの複雑な関係により、この課題は制限に直面している。
これらの課題に対処するために,消化器系疾患の経験者による医療記録を含む新しいデータセットであるDigestDSを紹介した。
また、DigDSの教師付き微調整により、事前訓練された大規模言語モデル(LLM)を活用するためのTCM-FTP(TCM Fine-Tuning Pre-trained)を提案する。
また,低ランク適応手法を用いて計算効率を向上させる。
TCM-FTPは、処方薬にハーブを置換することでデータ拡張も含み、注文に依存しない性質を活かしている。
TCM-FTPのF1スコアは0.8031であり、従来の手法をはるかに上回っている。
さらに, 平均2乗誤差0.0604を正規化することにより, 投薬予測において顕著な精度を示す。
対照的に、微調整のないLDMは性能が良くない。
LLMは広範囲のタスクで機能を示すが、本研究はTCM処方の微調整の重要性を示すものであり、それを実現する効果的な方法を提案する。
関連論文リスト
- TCMBench: A Comprehensive Benchmark for Evaluating Large Language Models in Traditional Chinese Medicine [19.680694337954133]
大規模言語モデル(LLM)の専門的評価ベンチマークは、伝統的な中国医学(TCM)領域ではまだカバーされていない。
そこで本研究では,TCMにおけるLLM性能を評価するための総合的なベンチマークであるTCM-Benchを紹介する。
TCM-EDデータセットは、TCM Licensing Exam (TCMLE)から得られた5,473の質問から成り、権威分析を伴う1,300の質問を含む。
質問応答の精度を超えてLLMを評価するために,TCM関連質問に対してLLMが生成する回答の質を評価するための指標であるTCMScoreを提案する。
論文 参考訳(メタデータ) (2024-06-03T09:11:13Z) - Qibo: A Large Language Model for Traditional Chinese Medicine [10.394665777883064]
伝統的な中国医学には、理論と近代医学の根本的な違いのような課題がある。
本研究では,継続的事前学習と教師付き微調整を組み合わせた2段階学習手法を提案する。
本研究の特筆すべき貢献は,TCM専用の2GBコーパスの処理である。
論文 参考訳(メタデータ) (2024-03-24T07:48:05Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - RoKEPG: RoBERTa and Knowledge Enhancement for Prescription Generation of
Traditional Chinese Medicine [2.1098688291287475]
漢方薬の処方生成のためのRoBERTaと知識強化モデル(RoKEPG)を提案する。
RoKEPGは、アテンションマスクマトリックスを通して、TCMの知識の4つのクラスを導入することで、TCM処方薬を生成するためにガイドされる。
一般に公開されているTCM処方データセットの実験結果から、RoKEPGはベースラインモデルよりも約2%改善していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T01:59:38Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。
我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - TCM-GPT: Efficient Pre-training of Large Language Models for Domain
Adaptation in Traditional Chinese Medicine [11.537289359051975]
ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。
具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。
そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
論文 参考訳(メタデータ) (2023-11-03T08:54:50Z) - Segmented Harmonic Loss: Handling Class-Imbalanced Multi-Label Clinical
Data for Medical Coding with Large Language Models [1.5913129437464046]
実生活雑音データに対するLLM(Large Language Models)の効果を評価する。
マルチラベルシナリオにおいて,ほとんどの医療データにおいて,過度なクラス不均衡に対処する新たな損失関数であるSegmented Harmonic Lossを開発した。
実験の結果,提案した損失をトレーニングすると,LLMはノイズの多い長期データセットにおいても大きな性能向上を達成できることがわかった。
論文 参考訳(メタデータ) (2023-10-06T21:20:28Z) - Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。
本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
論文 参考訳(メタデータ) (2023-06-27T05:43:47Z) - SSM-DTA: Breaking the Barriers of Data Scarcity in Drug-Target Affinity
Prediction [127.43571146741984]
薬物標的親和性(DTA)は、早期の薬物発見において極めて重要である。
湿式実験は依然として最も信頼性の高い方法であるが、時間と資源が集中している。
既存の手法は主に、データ不足の問題に適切に対処することなく、利用可能なDTAデータに基づく技術開発に重点を置いている。
SSM-DTAフレームワークについて述べる。
論文 参考訳(メタデータ) (2022-06-20T14:53:25Z) - Continuous Decoding of Daily-Life Hand Movements from Forearm Muscle
Activity for Enhanced Myoelectric Control of Hand Prostheses [78.120734120667]
本研究では,前腕のEMG活性をハンドキネマティクスに連続的にマップする,長期記憶(LSTM)ネットワークに基づく新しい手法を提案する。
私たちの研究は、この困難なデータセットを使用するハンドキネマティクスの予測に関する最初の報告です。
提案手法は, 人工手指の複数のDOFの独立的, 比例的アクティベーションのための制御信号の生成に適していることが示唆された。
論文 参考訳(メタデータ) (2021-04-29T00:11:32Z) - Syndrome-aware Herb Recommendation with Multi-Graph Convolution Network [49.85331664178196]
ハーブレコメンデーションは、中国伝統医学の治療過程において重要な役割を担っている。
ハーブ推薦を考慮した暗黙的シンドローム誘導法を提案する。
論文 参考訳(メタデータ) (2020-02-20T05:56:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。