Fugu-MT 論文翻訳(概要): Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering

論文の概要: Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering

arxiv url: http://arxiv.org/abs/2311.00204v1
Date: Wed, 1 Nov 2023 00:18:00 GMT
ステータス: 処理完了
システム内更新日: 2023-11-02 15:20:38.687966
Title: Continuous Training and Fine-tuning for Domain-Specific Language Models in Medical Question Answering
Title（参考訳）: 医学質問応答におけるドメイン特化言語モデルの連続学習と微調整
Authors: Zhen Guo, Yining Hua
Abstract要約: 大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。本研究は,Llama 2ベースモデルを中国医学領域に迅速に適応させるための,連続的なトレーニングと指導の微調整を用いた手法を実証する。
参考スコア（独自算出の注目度）: 4.254954312483959
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models exhibit promising general capabilities but often lack specialized knowledge for domain-specific tasks. Developing domain experts from a base model enables a range of applications without prohibitive training costs. This work demonstrates a method using continuous training and instruction fine-tuning to rapidly adapt Llama 2 base models to the Chinese medical domain. We first conduct continuous training on 1B tokens from Chinese medical references to teach relevant vocabulary and knowledge. The models are then fine-tuned on 54K examples sourced from the Chinese National Medical Licensing Examination. Experiments on Chinese medical data confirm the effectiveness of this approach, producing a model comparable to GPT-3.5-turbo while using way less computational resource. The resulting domain-specific model could be useful for various Chinese medical applications. More broadly, this provides a template for domain-specific training of large language models in areas where pre-trained models lack the required expertise, such as law, science, and engineering.
Abstract（参考訳）: 大規模言語モデルは有望な汎用能力を示すが、しばしばドメイン固有のタスクに関する専門知識を欠いている。ベースモデルからドメインエキスパートを開発することは、トレーニングコストを制限せずに幅広いアプリケーションを可能にする。本研究は,中国医学領域にラマ2ベースのモデルを迅速に適応させるために,連続訓練と指示微調整を用いた手法を示す。まず,中国の医療文献から1Bトークンを連続訓練し,関連する語彙と知識を教える。モデルは、中国国立医学ライセンス試験から得られた54Kのサンプルに基づいて微調整される。中国の医療データによる実験によりこのアプローチの有効性が確認され、計算資源の少ないGPT-3.5-turboに匹敵するモデルが生成される。結果として生じるドメイン固有モデルは、様々な中国の医療応用に有用である。より広い範囲で、これは、事前訓練されたモデルが法、科学、工学といった必要な専門知識を欠いている領域において、大きな言語モデルのドメイン固有トレーニングのためのテンプレートを提供する。

関連論文リスト

Baichuan-M1: Pushing the Medical Capability of Large Language Models [27.10768356058029]
医療応用に特化して最適化された大規模言語モデルであるBaichuan-M1を紹介する。既存のモデルで事前訓練を続ける従来のアプローチとは異なり、Baichuan-M1は医療能力の向上に重点を置いてゼロから訓練されている。我々のモデルは20兆のトークンで訓練され、一般的な能力と医療の専門知識のバランスをとるための、さまざまな効果的な訓練方法が組み込まれています。
論文参考訳（メタデータ） (2025-02-18T09:21:12Z)
DSG-KD: Knowledge Distillation from Domain-Specific to General Language Models [8.328673243329794]
本研究は,韓国の小児救急部門(PED)から得られた電子カルテ(EMR)データに基づく緊急時・緊急時・緊急時分類タスクについて検討した。既存のドメイン固有の事前学習言語モデルは、N言語自由テキストデータ特性を扱う場合の一般的な言語モデルと比較して性能が劣る。本稿では,知識蒸留を利用したドメイン知識伝達手法を提案する。
論文参考訳（メタデータ） (2024-09-23T10:59:02Z)
Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
論文参考訳（メタデータ） (2024-07-30T08:50:16Z)
Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings [10.39989311209284]
医療分野における言語モデルに関する総合的な調査を行った。医療用テキスト分類と条件付きテキスト生成のためのサブセットの評価を行った。その結果、タスク全体での顕著なパフォーマンスが明らかとなり、特定のモデルが医療知識を含む可能性について評価された。
論文参考訳（メタデータ） (2024-06-24T12:52:02Z)
Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文参考訳（メタデータ） (2024-04-27T05:03:42Z)
Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
論文参考訳（メタデータ） (2024-04-08T17:24:04Z)
KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model [37.69464822182714]
ほとんどの生物医学的な事前訓練された言語モデルはモノリンガルであり、言語間要求の増大に対処できない。本稿では,多言語事前学習型XLM-Rを知識アンコール手法を用いて生物医学領域に変換するKBioXLMというモデルを提案する。
論文参考訳（メタデータ） (2023-11-20T07:02:35Z)
HuatuoGPT-II, One-stage Training for Medical Adaption of LLMs [61.41790586411816]
HuatuoGPT-IIは、いくつかのベンチマークで、中国の医学領域における最先端のパフォーマンスを示している。さらに、ChatGPTやGPT-4といったプロプライエタリなモデルよりも、特に中国伝統医学において優れています。
論文参考訳（メタデータ） (2023-11-16T10:56:24Z)
Towards Best Practices for Training Multilingual Dense Retrieval Models [54.91016739123398]
我々は,このような設計を用いて,多種多様言語における単言語検索の課題に焦点をあてる。本研究は多言語高密度検索モデルのトレーニングのための「ベストプラクティス」ガイドとして組織されている。
論文参考訳（メタデータ） (2022-04-05T17:12:53Z)
bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
論文参考訳（メタデータ） (2021-10-14T04:05:25Z)
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
論文参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。