論文の概要: Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large
Language Model
- arxiv url: http://arxiv.org/abs/2310.09089v1
- Date: Fri, 13 Oct 2023 13:17:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-16 13:00:12.749967
- Title: Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large
Language Model
- Title(参考訳): Qilin-Med:多段階知識注入医療大言語モデル
- Authors: Qichen Ye, Junling Liu, Dading Chong, Peilin Zhou, Yining Hua, Andrew
Liu
- Abstract要約: 本稿では,ドメイン固有型継続事前学習,スーパービジョンファインチューニング,ダイレクトパラメータ最適化を組み合わせた多段階学習手法を提案する。
本研究の特筆すべき貢献は,医学的質問応答,平文,知識グラフ,対話を含む3Gb中国語医学データセットの導入である。
CPTとSFTの段階では、CMExamで38.4%と40.0%の精度を達成し、Baichuan-7Bの33.5%を上回った。
DPOフェーズでは、Huatuo-26Mテストセットで、BLEU-1で16.66、Rで27.44となる。
- 参考スコア(独自算出の注目度): 12.993662325345133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Integrating large language models (LLMs) into healthcare presents potential
but faces challenges. Directly pre-training LLMs for domains like medicine is
resource-heavy and sometimes unfeasible. Sole reliance on Supervised
Fine-tuning (SFT) can result in overconfident predictions and may not tap into
domain specific insights. Addressing these challenges, we present a multi-stage
training method combining Domain-specific Continued Pre-training (DCPT), SFT,
and Direct Preference Optimization (DPO). A notable contribution of our study
is the introduction of a 3Gb Chinese Medicine (ChiMed) dataset, encompassing
medical question answering, plain texts, knowledge graphs, and dialogues,
segmented into three training stages. The medical LLM trained with our
pipeline, Qilin-Med, exhibits significant performance boosts. In the CPT and
SFT phases, it achieves 38.4% and 40.0% accuracy on the CMExam, surpassing
Baichuan-7B's 33.5%. In the DPO phase, on the Huatuo-26M test set, it scores
16.66 in BLEU-1 and 27.44 in ROUGE1, outperforming the SFT's 12.69 and 24.21.
This highlights the strength of our training approach in refining LLMs for
medical applications.
- Abstract(参考訳): 大きな言語モデル(LLM)を医療に統合することは潜在的な可能性を示すが、課題に直面している。
医学のような分野のLLMを直接訓練することは資源が豊富であり、時には不可能である。
Supervised Fine-tuning (SFT) に頼っていると、自信過剰な予測が生じ、ドメイン固有の洞察を取り入れない可能性がある。
これらの課題に対処し、ドメイン特化前訓練(dcpt)、sft、dpo(direct preference optimization)を組み合わせた多段階学習手法を提案する。
研究の注目すべき貢献は、3gbの中国医学(chimed)データセットの導入で、医療質問の回答、平易なテキスト、知識グラフ、対話を3つのトレーニング段階に区分した。
パイプラインでトレーニングした医療用LLMであるQilin-Medは、大幅なパフォーマンス向上を実現しています。
CPTとSFTの段階では、CMExamで38.4%と40.0%の精度を達成し、Baichuan-7Bの33.5%を上回った。
DPOフェーズでは、Huatuo-26Mテストセットで、BLEU-1で16.66点、ROUGE1で27.44点、SFTの12.69点、24.21点を上回った。
このことは、医療応用のためのLLMの精製におけるトレーニングアプローチの強みを強調します。
関連論文リスト
- Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
我々は,70億個のパラメータを持つ新しい医療AIシステムであるMeerkat-7Bを紹介する。
Meerkat-7Bは18の医学教科書から得られた高品質なチェーン・オブ・シーリングパスからなる,我々の新しい合成データセットを用いて訓練された。
GPT-3.5を13.1%上回り、MedTron-7BやBioMistral-7Bを13.4%、BioMistral-7Bを9.8%上回った。
論文 参考訳(メタデータ) (2024-03-30T14:09:00Z) - JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability [8.476124605775976]
LLM(Large Language Models)は、医学知識の獲得と質問応答において顕著な可能性を実証している。
JMLR (Jointly Train LLM) と情報検索 (Information Retrieval, IR) を微調整時に導入する。
シンクロナイズドトレーニングメカニズムは、JMLRが臨床ガイドラインを検索し、医療知識を活用して推論し、質問に答える能力を高める。
論文 参考訳(メタデータ) (2024-02-27T21:01:41Z) - MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。
医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
論文 参考訳(メタデータ) (2023-11-27T18:49:43Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - Benchmarking Large Language Models on CMExam -- A Comprehensive Chinese
Medical Exam Dataset [31.047827145874844]
中国国立医学ライセンス試験から得られたCMExamについて紹介する。
CMExamは、標準化および客観的評価のための60K以上の多重選択質問と、オープンエンドなモデル推論評価のためのソリューション説明で構成されている。
LLMの詳細な分析のために、我々は医療専門家に、病気グループ、臨床部門、医学分野、能力領域、難易度レベルを含む5つの追加の質問点アノテーションのラベル付けを依頼した。
論文 参考訳(メタデータ) (2023-06-05T16:48:41Z) - Large Language Models Leverage External Knowledge to Extend Clinical
Insight Beyond Language Boundaries [48.48630043740588]
ChatGPTやMed-PaLMのような大規模言語モデル(LLM)は、様々な質問応答タスクに優れています。
我々は,その性能を高めるために,新しい文脈内学習フレームワークを開発した。
論文 参考訳(メタデータ) (2023-05-17T12:31:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。