論文の概要: TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine

• arxiv url: http://arxiv.org/abs/2311.01786v1
• Date: Fri, 3 Nov 2023 08:54:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 14:49:27.816544
• Title: TCM-GPT: Efficient Pre-training of Large Language Models for Domain Adaptation in Traditional Chinese Medicine
• Title（参考訳）: TCM-GPT:漢方医学におけるドメイン適応のための大規模言語モデルの効率的な事前学習
• Authors: Guoxing Yang, Jianyu Shi, Zan Wang, Xiaohong Liu, Guangyu Wang
• Abstract要約: ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。 そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
• 参考スコア（独自算出の注目度）: 11.537289359051975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-training and fine-tuning have emerged as a promising paradigm across various natural language processing (NLP) tasks. The effectiveness of pretrained large language models (LLM) has witnessed further enhancement, holding potential for applications in the field of medicine, particularly in the context of Traditional Chinese Medicine (TCM). However, the application of these general models to specific domains often yields suboptimal results, primarily due to challenges like lack of domain knowledge, unique objectives, and computational efficiency. Furthermore, their effectiveness in specialized domains, such as Traditional Chinese Medicine, requires comprehensive evaluation. To address the above issues, we propose a novel domain specific TCMDA (TCM Domain Adaptation) approach, efficient pre-training with domain-specific corpus. Specifically, we first construct a large TCM-specific corpus, TCM-Corpus-1B, by identifying domain keywords and retreving from general corpus. Then, our TCMDA leverages the LoRA which freezes the pretrained model's weights and uses rank decomposition matrices to efficiently train specific dense layers for pre-training and fine-tuning, efficiently aligning the model with TCM-related tasks, namely TCM-GPT-7B. We further conducted extensive experiments on two TCM tasks, including TCM examination and TCM diagnosis. TCM-GPT-7B archived the best performance across both datasets, outperforming other models by relative increments of 17% and 12% in accuracy, respectively. To the best of our knowledge, our study represents the pioneering validation of domain adaptation of a large language model with 7 billion parameters in TCM domain. We will release both TCMCorpus-1B and TCM-GPT-7B model once accepted to facilitate interdisciplinary development in TCM and NLP, serving as the foundation for further study.
• Abstract（参考訳）: 事前学習と微調整は、様々な自然言語処理(NLP)タスクにまたがる有望なパラダイムとして登場した。 事前訓練された大規模言語モデル(LLM)の有効性は、医学分野、特に伝統的な漢方医学(TCM)の文脈において、さらなる強化が期待されている。 しかしながら、これらの一般モデルの特定の領域への応用は、ドメイン知識の欠如、一意的な目的、計算効率などの課題により、しばしば準最適結果をもたらす。 また、漢方医学などの専門分野における効果には総合的な評価が必要である。 上記の課題に対処するため、ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。 具体的には,まずドメインキーワードを識別し,一般コーパスから検索することで,tcm固有のコーパスであるtcm-corpus-1bを構築する。 そこで,本論文では,事前学習したモデルの重みを冷凍するLoRAを利用して,事前学習および微調整のために,特定の高密度層を効率よく訓練し,TCM-GPT-7BというTCM関連タスクと効率的に整合させる。 さらにTCM検査とTCM診断の2つの課題について広範な実験を行った。 TCM-GPT-7Bは両方のデータセットで最高のパフォーマンスをアーカイブし、それぞれ17%と12%の精度で他のモデルを上回った。 我々の知る限り、我々の研究は、TCMドメインに70億のパラメータを持つ大規模言語モデルのドメイン適応の先駆的な検証である。 今後,TCM と NLP の学際開発を促進するため,TCMCorpus-1B と TCM-GPT-7B の両モデルをリリースする。

関連論文リスト

• Enhancing the Traditional Chinese Medicine Capabilities of Large Language Model through Reinforcement Learning from AI Feedback [5.855520522078306]
  従来の漢方医学(TCM)タスクにおいて,少量のデータのみを用いて,大規模言語モデルの性能向上のための枠組みを提案する。 我々は,大規模モデルの教師付き微調整に医療ケースデータを使用し,当初はTCMタスクの実行が可能であった。 さらに、AIフィードバック(RLAIF)からの強化学習を用いてモデルの性能を最適化し、好みデータと整合させる。
  論文  参考訳（メタデータ） (2024-11-01T04:19:55Z)
• Intelligent Understanding of Large Language Models in Traditional Chinese Medicine Based on Prompt Engineering Framework [3.990633038739491]
  本稿では,事前学習型言語モデル(PLM)やテンプレート,トークン化,動詞化などを統合するフレームワークであるTCM-Promptを提案する。 疾患分類,シンドローム同定,ハーブ・メディカル・レコメンデーション,一般NLPタスクについて実験を行った。
  論文  参考訳（メタデータ） (2024-10-25T10:24:30Z)
• PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
  医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。 我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。 CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-08T15:02:25Z)
• TCM-FTP: Fine-Tuning Large Language Models for Herbal Prescription Prediction [17.041413449854915]
  伝統的な中国の医学は、症状や徴候を治療するために処方薬中のハーブの特定の組み合わせに依存している。 本稿では,消化器疾患の経験者による医療記録を含む新しいデータセットであるDigestDSを紹介する。 また、DigDSの教師付き微調整により、事前訓練された大規模言語モデル(LLM)を活用するためのTCM-FTP(TCM Fine-Tuning Pre-trained)を提案する。
  論文  参考訳（メタデータ） (2024-07-15T08:06:37Z)
• Qibo: A Large Language Model for Traditional Chinese Medicine [10.394665777883064]
  伝統的な中国医学には、理論と近代医学の根本的な違いのような課題がある。 本研究では,継続的事前学習と教師付き微調整を組み合わせた2段階学習手法を提案する。 本研究の特筆すべき貢献は,TCM専用の2GBコーパスの処理である。
  論文  参考訳（メタデータ） (2024-03-24T07:48:05Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [61.41790586411816]
  HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。 さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
  論文  参考訳（メタデータ） (2023-11-16T10:56:24Z)
• PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
  大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。 LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。 PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
  論文  参考訳（メタデータ） (2023-04-27T18:29:05Z)
• TCM-SD: A Benchmark for Probing Syndrome Differentiation via Natural Language Processing [31.190757020836656]
  TCM診断・治療システムの中核的課題に焦点をあてる -- 症候群分化(SD) 本データセットは,148症例を対象とした実世界の臨床記録54,152例を含む。 本稿では、ZY-BERTと呼ばれるドメイン固有の事前学習言語モデルを提案する。
  論文  参考訳（メタデータ） (2022-03-21T09:59:54Z)
• Domain Generalization on Medical Imaging Classification using Episodic Training with Task Augmentation [62.49837463676111]
  本稿では,医用画像分類におけるタスク強化によるエピソードトレーニングの新たな手法を提案する。 実際の医療展開において、限られた数のソースドメインによって動機付けられ、ユニークなタスクレベルのオーバーフィッティングを検討します。
  論文  参考訳（メタデータ） (2021-06-13T03:56:59Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。