論文の概要: DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task

• arxiv url: http://arxiv.org/abs/2304.01097v1
• Date: Mon, 3 Apr 2023 15:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 14:34:02.801639
• Title: DoctorGLM: Fine-tuning your Chinese Doctor is not a Herculean Task
• Title（参考訳）: doctorglm:中国の医師の微調整はハーキュリアンの仕事ではない
• Authors: Honglin Xiong, Sheng Wang, Yitao Zhu, Zihao Zhao, Yuxiao Liu, Qian Wang, Dinggang Shen
• Abstract要約: 大きな言語モデル (LLM) は一般的に英語でより良く機能し、医学領域のために明示的に訓練されていない。 我々は、ChatGPTの助けを借りて中国語の医療対話のデータベースを収集し、容易に展開可能なLSMを訓練するためのいくつかの手法を採用した。 DoctorGLMは現在、アーリーステージのエンジニアリングの試みであり、様々な誤りを含んでいる。
• 参考スコア（独自算出の注目度）: 46.43324806966118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent progress of large language models (LLMs), including ChatGPT and GPT-4, in comprehending and responding to human instructions has been remarkable. Nevertheless, these models typically perform better in English and have not been explicitly trained for the medical domain, resulting in suboptimal precision in diagnoses, drug recommendations, and other medical advice. Additionally, training and deploying a dialogue model is still believed to be impossible for hospitals, hindering the promotion of LLMs. To tackle these challenges, we have collected databases of medical dialogues in Chinese with ChatGPT's help and adopted several techniques to train an easy-deploy LLM. Remarkably, we were able to fine-tune the ChatGLM-6B on a single A100 80G in 13 hours, which means having a healthcare-purpose LLM can be very affordable. DoctorGLM is currently an early-stage engineering attempt and contain various mistakes. We are sharing it with the broader community to invite feedback and suggestions to improve its healthcare-focused capabilities: https://github.com/xionghonglin/DoctorGLM.
• Abstract（参考訳）: chatgptやgpt-4を含む大規模言語モデル(llm)の最近の進歩は、人間の指示に対する理解と応答において顕著である。 にもかかわらず、これらのモデルは英語でよく機能し、医学領域で明示的に訓練されていないため、診断、医薬品の推奨、その他の医療アドバイスにおいて最適でない精度をもたらす。 加えて、対話モデルの訓練と展開は、まだ病院にとって不可能であると考えられており、LLMの推進を妨げる。 これらの課題に対処するため,我々はchatgptの助けを借りて,中国語の医療対話データベースを収集し,容易に展開できるllmの訓練手法をいくつか採用した。 注目すべきは、ChatGLM-6Bを1台のA100 80Gで13時間で微調整できたことです。 DoctorGLMは現在、様々な誤りを含む初期段階のエンジニアリングの試みである。 私たちは、医療に焦点を当てた機能を改善するためのフィードバックや提案を広くコミュニティと共有しています。

関連論文リスト

• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• LLMs for Doctors: Leveraging Medical LLMs to Assist Doctors, Not Replace Them [41.65016162783525]
  我々は、より経験豊富な医師と協力する医療アシスタントになるよう、Large Language Modelsをチューニングすることに重点を置いている。 我々は、医師のワークフロー全体をサポートするために、DoctorFLANと呼ばれる中国の医療データセットを構築した。 550個のシングルターンQ&Aを含むDoctorFLAN-textittestと74個のマルチターン会話を含むDotaBenchを構築し,医師指向のシナリオにおけるLCMの評価を行った。
  論文  参考訳（メタデータ） (2024-06-26T03:08:24Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
  大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。 本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
  論文  参考訳（メタデータ） (2023-11-09T02:55:58Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue [4.558040877516838]
  我々は、連続事前学習(SFT)から人間フィードバックからの強化学習(RLHF)まで、トレーニングパイプライン全体を実装した最初の中国医学大言語モデル(LLM)であるZhongjingを紹介した。 我々は, 複雑な対話能力と積極的な調査開始能力を大幅に向上させる, 7,000 人の医師と患者との対話 CMtMedQA の多ターン医療対話データセットを構築した。
  論文  参考訳（メタデータ） (2023-08-07T12:56:13Z)
• IvyGPT: InteractiVe Chinese pathwaY language model in medical domain [7.5386393444603454]
  ChatGPTのような一般的な大規模言語モデル(LLM)は顕著な成功を収めている。 LLaMAをベースとしたLLMであるIvyGPTを提案する。 トレーニングでは、QLoRAを使用して、少数のNVIDIA A100(80GB)上で33億のパラメータをトレーニングしました。 実験の結果、IvyGPTは他の医療用GPTモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-07-20T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。