論文の概要: BianCang: A Traditional Chinese Medicine Large Language Model
- arxiv url: http://arxiv.org/abs/2411.11027v1
- Date: Sun, 17 Nov 2024 10:17:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-19 14:35:52.060347
- Title: BianCang: A Traditional Chinese Medicine Large Language Model
- Title（参考訳）: BianCang:中国の伝統医学大言語モデル
- Authors: Sibo Wei, Xueping Peng, Yi-fei Wang, Jiasheng Si, Weiyu Zhang, Wenpeng Lu, Xiaoming Wu, Yinglong Wang,
- Abstract要約: BianCangはTCM固有の大規模言語モデル(LLM)で、まずドメイン固有の知識を注入し、目標とする刺激によって調整する。
実際の病院記録に基づく事前学習コーパス,ChP-TCMデータセット,および中華人民共和国の薬局類由来のChP-TCMデータセットを構築した。
我々は,TCMの理解を深めるための包括的なデータセットを構築し,連続的な事前学習と微調整のための広範囲なTCMと医療コーパスを収集した。
- 参考スコア（独自算出の注目度）: 22.582027277167047
- License:
- Abstract: The rise of large language models (LLMs) has driven significant progress in medical applications, including traditional Chinese medicine (TCM). However, current medical LLMs struggle with TCM diagnosis and syndrome differentiation due to substantial differences between TCM and modern medical theory, and the scarcity of specialized, high-quality corpora. This paper addresses these challenges by proposing BianCang, a TCM-specific LLM, using a two-stage training process that first injects domain-specific knowledge and then aligns it through targeted stimulation. To enhance diagnostic and differentiation capabilities, we constructed pre-training corpora, instruction-aligned datasets based on real hospital records, and the ChP-TCM dataset derived from the Pharmacopoeia of the People's Republic of China. We compiled extensive TCM and medical corpora for continuous pre-training and supervised fine-tuning, building a comprehensive dataset to refine the model's understanding of TCM. Evaluations across 11 test sets involving 29 models and 4 tasks demonstrate the effectiveness of BianCang, offering valuable insights for future research. Code, datasets, and models are available at https://github.com/QLU-NLP/BianCang.
- Abstract（参考訳）: 大規模言語モデル(LLMs)の台頭は、伝統的な中国医学(TCM)を含む医学的応用に大きな進歩をもたらした。
しかし,現在の医学LLMは,TCMと近代医学理論の相違や,専門的,高品質なコーパスの不足により,TCM診断と症候群の分化に苦慮している。
本稿では、まずドメイン固有の知識を注入し、目的の刺激によって調整する2段階のトレーニングプロセスを用いて、TCM固有のLLMであるBianCangを提案し、これらの課題に対処する。
診断と差別化の能力を高めるため,我々は,実際の病院記録に基づく事前学習コーパスと,中華人民共和国の薬局会から得られたChP-TCMデータセットを構築した。
我々は,TCMの理解を深めるための包括的なデータセットを構築し,連続的な事前学習と微調整のための広範囲なTCMと医療コーパスを収集した。
29のモデルと4つのタスクを含む11のテストセットに対する評価は、BianCangの有効性を示し、将来の研究に貴重な洞察を提供する。
コード、データセット、モデルはhttps://github.com/QLU-NLP/BianCangで入手できる。
関連論文リスト
- Intelligent Understanding of Large Language Models in Traditional Chinese Medicine Based on Prompt Engineering Framework [3.990633038739491]
本稿では,事前学習型言語モデル(PLM)やテンプレート,トークン化,動詞化などを統合するフレームワークであるTCM-Promptを提案する。
疾患分類,シンドローム同定,ハーブ・メディカル・レコメンデーション,一般NLPタスクについて実験を行った。
論文 参考訳（メタデータ） (2024-10-25T10:24:30Z) - LCMDC: Large-scale Chinese Medical Dialogue Corpora for Automatic Triage and Medical Consultation [2.04367431902848]
新型コロナウイルス(COVID-19)のパンデミックは、従来の医療システムに大きな欠陥を浮き彫りにした。
既存の研究は2つの大きな課題に直面している。
まず、プライバシー上の懸念から、大規模で公開可能な、ドメイン固有の医療データセットの不足。
第二に、既存の方法には医療知識が欠如しており、患者医師相談における専門用語や表現の理解に苦慮している。
論文 参考訳（メタデータ） (2024-09-27T00:01:32Z) - TCMD: A Traditional Chinese Medicine QA Dataset for Evaluating Large Language Models [22.76485170022542]
従来の中国医学検査課題を解くための大規模な手動指導を含む,新しいQAデータセットを提案する。
TCMDは、注釈付き医療科目で、さまざまな領域にまたがって大量の質問を集めています。
論文 参考訳（メタデータ） (2024-06-07T13:48:15Z) - MedBench: A Large-Scale Chinese Benchmark for Evaluating Medical Large
Language Models [56.36916128631784]
中国の医療分野の総合的なベンチマークであるMedBenchを紹介する。
このベンチマークは、中国の医療ライセンス試験、居住者標準化訓練試験、および現実世界のクリニックの4つの主要なコンポーネントで構成されている。
幅広い実験を行い, 多様な視点から詳細な分析を行い, 以下の結果を得た。
論文 参考訳（メタデータ） (2023-12-20T07:01:49Z) - RoKEPG: RoBERTa and Knowledge Enhancement for Prescription Generation of
Traditional Chinese Medicine [2.1098688291287475]
漢方薬の処方生成のためのRoBERTaと知識強化モデル(RoKEPG)を提案する。
RoKEPGは、アテンションマスクマトリックスを通して、TCMの知識の4つのクラスを導入することで、TCM処方薬を生成するためにガイドされる。
一般に公開されているTCM処方データセットの実験結果から、RoKEPGはベースラインモデルよりも約2%改善していることがわかった。
論文 参考訳（メタデータ） (2023-11-29T01:59:38Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。
我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
論文 参考訳（メタデータ） (2023-11-10T12:25:32Z) - TCM-GPT: Efficient Pre-training of Large Language Models for Domain
Adaptation in Traditional Chinese Medicine [11.537289359051975]
ドメイン固有コーパスを用いた効率的な事前学習を行うTCMDA(TCM Domain Adaptation)アプローチを提案する。
具体的には、まず、ドメインキーワードを識別し、一般コーパスから再帰することで、TCM固有の大規模コーパスTCM-Corpus-1Bを構築する。
そこで,本TCMDAでは,事前学習および微調整のために,事前学習したモデルの重量を凍結するLoRAを活用し,ランク分解行列を用いて特定の密度層を効率的に訓練する。
論文 参考訳（メタデータ） (2023-11-03T08:54:50Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳（メタデータ） (2023-04-27T18:29:05Z) - Multi-Task Learning for Post-transplant Cause of Death Analysis: A Case
Study on Liver Transplant [65.85767739748901]
移植後の死因は、臨床的意思決定の強力なツールである。
Model for End-stage Liver Disease (MELD) スコアや従来の機械学習 (ML) メソッドのような従来の手法は、CoD 解析において限られている。
我々は,多タスク学習を利用したCoD-MTLと呼ばれる新しいフレームワークを提案し,様々なCoD予測タスク間の意味関係をモデル化する。
論文 参考訳（メタデータ） (2023-03-30T01:31:49Z) - Competence-based Multimodal Curriculum Learning for Medical Report
Generation [98.10763792453925]
本稿では,コンピテンスベースのマルチモーダルカリキュラム学習フレームワーク(CMCL)を提案する。
具体的には、CMCLは放射線学者の学習過程をシミュレートし、段階的にモデルを最適化する。
パブリックIU-XrayとMIMIC-CXRデータセットの実験は、CMCLを既存のモデルに組み込んでパフォーマンスを向上させることができることを示している。
論文 参考訳（メタデータ） (2022-06-24T08:16:01Z) - Medical-VLBERT: Medical Visual Language BERT for COVID-19 CT Report
Generation With Alternate Learning [70.71564065885542]
本稿では,医療用ビジュアル言語BERT(Medical-VLBERT)モデルを用いて,新型コロナウイルススキャンの異常を同定する。
このモデルは、知識事前学習と伝達の2つの手順で、代替的な学習戦略を採用する。
COVID-19患者に対する医療報告の自動作成のために,中国語で368例,胸部CTで1104例の検診を行った。
論文 参考訳（メタデータ） (2021-08-11T07:12:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。