論文の概要: HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs
- arxiv url: http://arxiv.org/abs/2311.09774v1
- Date: Thu, 16 Nov 2023 10:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 14:57:05.440888
- Title: HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs
- Title(参考訳): HuatuoGPT-II : LLMの医療適応のためのワンステージトレーニング
- Authors: Junying Chen, Xidong Wang, Anningzhe Gao, Feng Jiang, Shunian Chen,
Hongbo Zhang, Dingjie Song, Wenya Xie, Chuyi Kong, Jianquan Li, Xiang Wan,
Haizhou Li, Benyou Wang
- Abstract要約: HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。
さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
- 参考スコア(独自算出の注目度): 62.73042700847977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adapting a language model into a specific domain, a.k.a `domain adaption', is
a common practice when specialized knowledge, e.g. medicine, is not
encapsulated in a general language model like Llama2. The challenge lies in the
heterogeneity of data across the two training stages, as it varies in
languages, genres, or formats. To tackle this and simplify the learning
protocol, we propose to transform heterogeneous data, from the both
pre-training and supervised stages, into a unified, simple input-output pair
format. We validate the new protocol in the domains where proprietary LLMs like
ChatGPT perform relatively poorly, such as Traditional Chinese Medicine. The
developed model, HuatuoGPT-II, has shown state-of-the-art performance in
Chinese medicine domain on a number of benchmarks, e.g. medical licensing
exams. It even outperforms proprietary models like ChatGPT and GPT-4 in some
aspects, especially in Traditional Chinese Medicine. Expert manual evaluations
further validate HuatuoGPT-II's advantages over existing LLMs. Notably,
HuatuoGPT-II was benchmarked in a fresh Chinese National Medical Licensing
Examination where it achieved the best performance, showcasing not only its
effectiveness but also its generalization capabilities.
- Abstract(参考訳): 言語モデルを特定のドメインに適応させる「ドメイン適応」は、例えば医学のような専門知識がLlama2のような一般的な言語モデルにカプセル化されない場合、一般的な慣習である。
この課題は、言語、ジャンル、フォーマットによって異なるため、2つのトレーニング段階にわたるデータの均一性にある。
そこで本研究では,学習プロトコルを単純化するために,事前学習段階と教師付き段階の両方から,統一された簡易な入力出力ペア形式へ異種データを変換する手法を提案する。
従来の漢方医学など,ChatGPTのような独自LLMが比較的貧弱な領域において,新たなプロトコルを検証する。
開発されたモデルであるHuatuoGPT-IIは、医学ライセンス試験など、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。
さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
専門家による手作業による評価により、HuatuoGPT-II の既存の LLM に対する優位性がさらに証明された。
特に、HuatuoGPT-IIは中国の新しい医学ライセンス試験でベンチマークされ、その性能だけでなく、その一般化能力も示した。
関連論文リスト
- Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - Adapting Large Language Models for Document-Level Machine Translation [49.74879186939818]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて大きな進歩を遂げている。
近年の研究では、中程度のLLMはタスク固有の微調整の後、より大きなLLMよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-01-12T09:29:13Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Continuous Training and Fine-tuning for Domain-Specific Language Models
in Medical Question Answering [4.254954312483959]
大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。
本研究は,Llama 2ベースモデルを中国医学領域に迅速に適応させるための,連続的なトレーニングと指導の微調整を用いた手法を実証する。
論文 参考訳(メタデータ) (2023-11-01T00:18:00Z) - Efficient Finetuning Large Language Models For Vietnamese Chatbot [1.2075778142867704]
大規模言語モデル(LLM)は、様々な自然言語タスクにおいて顕著な性能を発揮することが示されている。
Alpaca、GPT4All、Chat-Doctorなど、オープンソースの大規模インストラクションフォローデータセットを活用しています。
我々は,低ランク適応(LoRA)によるパラメータ効率チューニングを2つのオープンLLM上で行い,その結果,Bloomz-Chat,Bloomz-Doctor,GPTJ-Chat,GPTJ-Doctorの4つのモデルを得た。
論文 参考訳(メタデータ) (2023-09-09T00:11:53Z) - Large Language Models Streamline Automated Machine Learning for Clinical
Studies [2.4889420816783963]
ChatGPT Advanced Data Analysis (ADA)は、機械学習解析を効率的に行うためのGPT-4の拡張である。
ADAは、臨床結果を予測するために、元の研究のトレーニングデータに基づいて、最先端のMLモデルを自律的に開発した。
興味深いことに、ChatGPT ADAで製作されたMLモデルは、しばしばそのモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-08-27T14:28:38Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical
domains [4.989459243399296]
医学領域におけるフランス語のPLMに関する独自の研究を提案する。
医療機関の公開データとプライベートデータの両方でトレーニングされたPLMのパフォーマンスを初めて比較した。
我々は,既存のバイオメディカルPLMを外国語で活用できることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:25:53Z) - Domain-Specific Language Model Pretraining for Biomedical Natural
Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。
実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文 参考訳(メタデータ) (2020-07-31T00:04:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。