論文の概要: DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task
- arxiv url: http://arxiv.org/abs/2304.01097v1
- Date: Mon, 3 Apr 2023 15:57:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 14:34:02.801639
- Title: DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task
- Title(参考訳): doctorglm:中国の医師の微調整はハーキュリアンの仕事ではない
- Authors: Honglin Xiong, Sheng Wang, Yitao Zhu, Zihao Zhao, Yuxiao Liu, Qian
Wang, Dinggang Shen
- Abstract要約: 大きな言語モデル (LLM) は一般的に英語でより良く機能し、医学領域のために明示的に訓練されていない。
我々は、ChatGPTの助けを借りて中国語の医療対話のデータベースを収集し、容易に展開可能なLSMを訓練するためのいくつかの手法を採用した。
DoctorGLMは現在、アーリーステージのエンジニアリングの試みであり、様々な誤りを含んでいる。
- 参考スコア(独自算出の注目度): 46.43324806966118
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recent progress of large language models (LLMs), including ChatGPT and
GPT-4, in comprehending and responding to human instructions has been
remarkable. Nevertheless, these models typically perform better in English and
have not been explicitly trained for the medical domain, resulting in
suboptimal precision in diagnoses, drug recommendations, and other medical
advice. Additionally, training and deploying a dialogue model is still believed
to be impossible for hospitals, hindering the promotion of LLMs. To tackle
these challenges, we have collected databases of medical dialogues in Chinese
with ChatGPT's help and adopted several techniques to train an easy-deploy LLM.
Remarkably, we were able to fine-tune the ChatGLM-6B on a single A100 80G in 13
hours, which means having a healthcare-purpose LLM can be very affordable.
DoctorGLM is currently an early-stage engineering attempt and contain various
mistakes. We are sharing it with the broader community to invite feedback and
suggestions to improve its healthcare-focused capabilities:
https://github.com/xionghonglin/DoctorGLM.
- Abstract(参考訳): chatgptやgpt-4を含む大規模言語モデル(llm)の最近の進歩は、人間の指示に対する理解と応答において顕著である。
にもかかわらず、これらのモデルは英語でよく機能し、医学領域で明示的に訓練されていないため、診断、医薬品の推奨、その他の医療アドバイスにおいて最適でない精度をもたらす。
加えて、対話モデルの訓練と展開は、まだ病院にとって不可能であると考えられており、LLMの推進を妨げる。
これらの課題に対処するため,我々はchatgptの助けを借りて,中国語の医療対話データベースを収集し,容易に展開できるllmの訓練手法をいくつか採用した。
注目すべきは、ChatGLM-6Bを1台のA100 80Gで13時間で微調整できたことです。
DoctorGLMは現在、様々な誤りを含む初期段階のエンジニアリングの試みである。
私たちは、医療に焦点を当てた機能を改善するためのフィードバックや提案を広くコミュニティと共有しています。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - A Survey of Large Language Models in Medicine: Progress, Application,
and Challenge [86.4234483148876]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳(メタデータ) (2023-11-09T02:55:58Z) - BianQue: Balancing the Questioning and Suggestion Ability of Health LLMs
with Multi-turn Health Conversations Polished by ChatGPT [19.502907861059604]
大規模言語モデル(LLM)は、シングルターン会話において、一般的な、広範な健康提案を提供する上で、うまく機能している。
自己構築型健康会話データセットであるBianQueCorpusを微調整したChatGLMベースのLLMであるBianQueを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:57:34Z) - Augmenting Black-box LLMs with Medical Textbooks for Clinical Question
Answering [54.13933019557655]
LLMs Augmented with Medical Textbooks (LLM-AMT)を提案する。
LLM-AMTは、プラグイン・アンド・プレイモジュールを使用して、権威ある医学教科書をLLMのフレームワークに統合する。
検索コーパスとしての医学教科書は,医学領域におけるウィキペディアよりも効果的な知識データベースであることが確認された。
論文 参考訳(メタデータ) (2023-09-05T13:39:38Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language
Model through Expert Feedback and Real-world Multi-turn Dialogue [4.558040877516838]
我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。
我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
論文 参考訳(メタデータ) (2023-08-07T12:56:13Z) - IvyGPT: InteractiVe Chinese pathwaY language model in medical domain [7.5386393444603454]
ChatGPTのような一般的な大規模言語モデル(LLM)は顕著な成功を収めている。
LLaMAをベースとしたLLMであるIvyGPTを提案する。
トレーニングでは、QLoRAを使用して、少数のNVIDIA A100(80GB)上で33億のパラメータをトレーニングしました。
実験の結果、IvyGPTは他の医療用GPTモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-07-20T01:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。