論文の概要: Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model

• arxiv url: http://arxiv.org/abs/2310.09089v1
• Date: Fri, 13 Oct 2023 13:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:00:12.749967
• Title: Qilin-Med: Multi-stage Knowledge Injection Advanced Medical Large Language Model
• Title（参考訳）: Qilin-Med:多段階知識注入医療大言語モデル
• Authors: Qichen Ye, Junling Liu, Dading Chong, Peilin Zhou, Yining Hua, Andrew Liu
• Abstract要約: 本稿では,ドメイン固有型継続事前学習,スーパービジョンファインチューニング,ダイレクトパラメータ最適化を組み合わせた多段階学習手法を提案する。 本研究の特筆すべき貢献は,医学的質問応答,平文,知識グラフ,対話を含む3Gb中国語医学データセットの導入である。 CPTとSFTの段階では、CMExamで38.4%と40.0%の精度を達成し、Baichuan-7Bの33.5%を上回った。 DPOフェーズでは、Huatuo-26Mテストセットで、BLEU-1で16.66、Rで27.44となる。
• 参考スコア（独自算出の注目度）: 12.993662325345133
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating large language models (LLMs) into healthcare presents potential but faces challenges. Directly pre-training LLMs for domains like medicine is resource-heavy and sometimes unfeasible. Sole reliance on Supervised Fine-tuning (SFT) can result in overconfident predictions and may not tap into domain specific insights. Addressing these challenges, we present a multi-stage training method combining Domain-specific Continued Pre-training (DCPT), SFT, and Direct Preference Optimization (DPO). A notable contribution of our study is the introduction of a 3Gb Chinese Medicine (ChiMed) dataset, encompassing medical question answering, plain texts, knowledge graphs, and dialogues, segmented into three training stages. The medical LLM trained with our pipeline, Qilin-Med, exhibits significant performance boosts. In the CPT and SFT phases, it achieves 38.4% and 40.0% accuracy on the CMExam, surpassing Baichuan-7B's 33.5%. In the DPO phase, on the Huatuo-26M test set, it scores 16.66 in BLEU-1 and 27.44 in ROUGE1, outperforming the SFT's 12.69 and 24.21. This highlights the strength of our training approach in refining LLMs for medical applications.
• Abstract（参考訳）: 大きな言語モデル(LLM)を医療に統合することは潜在的な可能性を示すが、課題に直面している。 医学のような分野のLLMを直接訓練することは資源が豊富であり、時には不可能である。 Supervised Fine-tuning (SFT) に頼っていると、自信過剰な予測が生じ、ドメイン固有の洞察を取り入れない可能性がある。 これらの課題に対処し、ドメイン特化前訓練(dcpt)、sft、dpo(direct preference optimization)を組み合わせた多段階学習手法を提案する。 研究の注目すべき貢献は、3gbの中国医学(chimed)データセットの導入で、医療質問の回答、平易なテキスト、知識グラフ、対話を3つのトレーニング段階に区分した。 パイプラインでトレーニングした医療用LLMであるQilin-Medは、大幅なパフォーマンス向上を実現しています。 CPTとSFTの段階では、CMExamで38.4%と40.0%の精度を達成し、Baichuan-7Bの33.5%を上回った。 DPOフェーズでは、Huatuo-26Mテストセットで、BLEU-1で16.66点、ROUGE1で27.44点、SFTの12.69点、24.21点を上回った。 このことは、医療応用のためのLLMの精製におけるトレーニングアプローチの強みを強調します。

関連論文リスト

• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks [17.40940406100025]
  私たちは、70億から700億のパラメータからなる、医療AIシステムの新しいファミリーであるMeerkatを紹介します。 我々のシステムは6つの医療ベンチマークで顕著な精度を達成した。 Meerkat-70Bは38例中21例を正しく診断し、ヒトの13.8例を上回った。
  論文  参考訳（メタデータ） (2024-03-30T14:09:00Z)
• Qibo: A Large Language Model for Traditional Chinese Medicine [10.394665777883064]
  伝統的な中国医学には、理論と近代医学の根本的な違いのような課題がある。 本研究では,継続的事前学習と教師付き微調整を組み合わせた2段階学習手法を提案する。 本研究の特筆すべき貢献は,TCM専用の2GBコーパスの処理である。
  論文  参考訳（メタデータ） (2024-03-24T07:48:05Z)
• JMLR: Joint Medical LLM and Retrieval Training for Enhancing Reasoning and Professional Question Answering Capability [8.476124605775976]
  LLM(Large Language Models)は、医学知識の獲得と質問応答において顕著な可能性を実証している。 LLMは、ドメイン固有の事前訓練であっても、幻覚を起こし、事実的に誤った結果をもたらす可能性がある。 JMLR(LLMと情報検索)を微調整期間中に導入し,幻覚に対処する。
  論文  参考訳（メタデータ） (2024-02-27T21:01:41Z)
• MEDITRON-70B: Scaling Medical Pretraining for Large Language Models [91.25119823784705]
  大きな言語モデル(LLM)は、医療知識へのアクセスを民主化することができる。 医療領域に適応した7Bおよび70BパラメータのオープンソースLLMスイートであるMEDITRONをリリースする。
  論文  参考訳（メタデータ） (2023-11-27T18:49:43Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Augmenting Black-box LLMs with Medical Textbooks for Biomedical Question Answering (Published in Findings of EMNLP 2024) [48.17095875619711]
  LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。 LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。 検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
  論文  参考訳（メタデータ） (2023-09-05T13:39:38Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。