論文の概要: HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs

• arxiv url: http://arxiv.org/abs/2311.09774v1
• Date: Thu, 16 Nov 2023 10:56:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 14:57:05.440888
• Title: HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs
• Title（参考訳）: HuatuoGPT-II : LLMの医療適応のためのワンステージトレーニング
• Authors: Junying Chen, Xidong Wang, Anningzhe Gao, Feng Jiang, Shunian Chen, Hongbo Zhang, Dingjie Song, Wenya Xie, Chuyi Kong, Jianquan Li, Xiang Wan, Haizhou Li, Benyou Wang
• Abstract要約: HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。 さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
• 参考スコア（独自算出の注目度）: 62.73042700847977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting a language model into a specific domain, a.k.a `domain adaption', is a common practice when specialized knowledge, e.g. medicine, is not encapsulated in a general language model like Llama2. The challenge lies in the heterogeneity of data across the two training stages, as it varies in languages, genres, or formats. To tackle this and simplify the learning protocol, we propose to transform heterogeneous data, from the both pre-training and supervised stages, into a unified, simple input-output pair format. We validate the new protocol in the domains where proprietary LLMs like ChatGPT perform relatively poorly, such as Traditional Chinese Medicine. The developed model, HuatuoGPT-II, has shown state-of-the-art performance in Chinese medicine domain on a number of benchmarks, e.g. medical licensing exams. It even outperforms proprietary models like ChatGPT and GPT-4 in some aspects, especially in Traditional Chinese Medicine. Expert manual evaluations further validate HuatuoGPT-II's advantages over existing LLMs. Notably, HuatuoGPT-II was benchmarked in a fresh Chinese National Medical Licensing Examination where it achieved the best performance, showcasing not only its effectiveness but also its generalization capabilities.
• Abstract（参考訳）: 言語モデルを特定のドメインに適応させる「ドメイン適応」は、例えば医学のような専門知識がLlama2のような一般的な言語モデルにカプセル化されない場合、一般的な慣習である。 この課題は、言語、ジャンル、フォーマットによって異なるため、2つのトレーニング段階にわたるデータの均一性にある。 そこで本研究では,学習プロトコルを単純化するために,事前学習段階と教師付き段階の両方から,統一された簡易な入力出力ペア形式へ異種データを変換する手法を提案する。 従来の漢方医学など,ChatGPTのような独自LLMが比較的貧弱な領域において,新たなプロトコルを検証する。 開発されたモデルであるHuatuoGPT-IIは、医学ライセンス試験など、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。 さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。 専門家による手作業による評価により、HuatuoGPT-II の既存の LLM に対する優位性がさらに証明された。 特に、HuatuoGPT-IIは中国の新しい医学ライセンス試験でベンチマークされ、その性能だけでなく、その一般化能力も示した。

関連論文リスト

• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering [4.254954312483959]
  大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。 本研究は,Llama 2ベースモデルを中国医学領域に迅速に適応させるための,連続的なトレーニングと指導の微調整を用いた手法を実証する。
  論文  参考訳（メタデータ） (2023-11-01T00:18:00Z)
• Efficient Finetuning Large Language Models For Vietnamese Chatbot [1.2075778142867704]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて顕著な性能を発揮することが示されている。 Alpaca、GPT4All、Chat-Doctorなど、オープンソースの大規模インストラクションフォローデータセットを活用しています。 我々は,低ランク適応(LoRA)によるパラメータ効率チューニングを2つのオープンLLM上で行い,その結果,Bloomz-Chat,Bloomz-Doctor,GPTJ-Chat,GPTJ-Doctorの4つのモデルを得た。
  論文  参考訳（メタデータ） (2023-09-09T00:11:53Z)
• Large Language Models Streamline Automated Machine Learning for Clinical Studies [2.4889420816783963]
  ChatGPT Advanced Data Analysis (ADA)は、機械学習解析を効率的に行うためのGPT-4の拡張である。 ADAは、臨床結果を予測するために、元の研究のトレーニングデータに基づいて、最先端のMLモデルを自律的に開発した。 興味深いことに、ChatGPT ADAで製作されたMLモデルは、しばしばそのモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-27T14:28:38Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains [4.989459243399296]
  医学領域におけるフランス語のPLMに関する独自の研究を提案する。 医療機関の公開データとプライベートデータの両方でトレーニングされたPLMのパフォーマンスを初めて比較した。 我々は,既存のバイオメディカルPLMを外国語で活用できることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:25:53Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。