Fugu-MT 論文翻訳(概要): Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

論文の概要: Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs

arxiv url: http://arxiv.org/abs/2409.14988v1
Date: Mon, 23 Sep 2024 13:09:57 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 15:05:21.912577
Title: Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs
Title（参考訳）: 微調整を超えて : 臨床用LLMの持続的プレトレーニングの可能性
Authors: Clément Christophe, Tathagata Raha, Svetlana Maslenkova, Muhammad Umar Salman, Praveen K Kanithi, Marco AF Pimentel, Shadab Khan,
Abstract要約: 大言語モデル (LLMs) は臨床応用の転換に有意な可能性を示唆している。臨床応用には, 連続事前訓練, 微調整, NEFTune, 即時工学の4つの手法を応用した。
参考スコア（独自算出の注目度）: 2.5463736544144213
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have demonstrated significant potential in transforming clinical applications. In this study, we investigate the efficacy of four techniques in adapting LLMs for clinical use-cases: continuous pretraining, instruct fine-tuning, NEFTune, and prompt engineering. We employ these methods on Mistral 7B and Mixtral 8x7B models, leveraging a large-scale clinical pretraining dataset of 50 billion tokens and an instruct fine-tuning dataset of 500 million tokens. Our evaluation across various clinical tasks reveals the impact of each technique. While continuous pretraining beyond 250 billion tokens yields marginal improvements on its own, it establishes a strong foundation for instruct fine-tuning. Notably, NEFTune, designed primarily to enhance generation quality, surprisingly demonstrates additional gains on our benchmark. Complex prompt engineering methods further enhance performance. These findings show the importance of tailoring fine-tuning strategies and exploring innovative techniques to optimize LLM performance in the clinical domain.
Abstract（参考訳）: 大言語モデル (LLMs) は臨床応用の転換に有意な可能性を示唆している。本研究では, 臨床症例にLLMを適用するための4つの手法の有効性について検討した。これらの手法をMistral 7BおよびMixtral 8x7Bモデルに適用し,500億トークンの大規模臨床事前トレーニングデータセットと5億トークンの微調整データセットを活用する。各種臨床課題に対する評価の結果,各手法の影響が明らかとなった。 250億のトークンを超える継続的な事前訓練は、それ自身で限界的な改善をもたらすが、微調整を指導するための強力な基盤を確立している。特にNEFTuneは、主に生成品質を向上させるために設計されており、ベンチマークで驚くほど向上している。複雑なプロンプト工学手法により、さらなる性能向上が図られる。これらの結果から, 臨床領域におけるLCM性能を最適化するために, 微調整戦略の調整と革新的手法の探求の重要性が示唆された。

関連論文リスト

Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
論文参考訳（メタデータ） (2024-10-24T15:41:56Z)
Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。 Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
論文参考訳（メタデータ） (2024-09-23T00:35:23Z)
Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文参考訳（メタデータ） (2024-08-22T17:01:34Z)
The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [4.72457683445805]
臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
論文参考訳（メタデータ） (2024-07-27T16:48:03Z)
HiDe-PET: Continual Learning via Hierarchical Decomposition of Parameter-Efficient Tuning [55.88910947643436]
予備学習モデル(PTM)とパラメータ効率チューニング(PET)を組み合わせた連続学習(CL)統合フレームワークを提案する。タスク固有知識とタスク共有知識を取り入れることで目的を明示的に最適化する革新的な手法である階層分解PET(HiDe-PET)を提案する。提案手法は,近年の強いベースラインの幅広いスペクトルに対して,極めて優れた性能を示す。
論文参考訳（メタデータ） (2024-07-07T01:50:25Z)
Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
論文参考訳（メタデータ） (2024-06-21T02:28:37Z)
Automatic Summarization of Doctor-Patient Encounter Dialogues Using Large Language Model through Prompt Tuning [20.9626587328674]
本研究では,ジェネレーティブ・大規模言語モデル(LLM)を用いた医師と患者との対話を要約するアプローチを提案する。我々は, 臨床テキストを要約するために, 生成LDMを指示するプロンプトチューニングアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-03-19T18:37:05Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
End-to-End Breast Cancer Radiotherapy Planning via LMMs with Consistency Embedding [47.360760580820966]
放射線腫瘍学の分野に適した包括的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。このモデルは臨床ワークフロー内の一連のタスクを効果的に管理し、臨床コンテキストの要約、放射線治療計画の提案、計画誘導されたターゲットボリュームセグメンテーションを含む。クリーン入力処理の整合性を維持しつつ,LMMのノイズ入力に対する堅牢性を向上する,CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文参考訳（メタデータ） (2023-11-27T14:49:06Z)
Aligning Large Language Models for Clinical Tasks [0.0]
大規模言語モデル(LLM)は目覚ましい適応性を示しており、明示的に訓練されていないタスクに精通する能力を示している。我々は「Expand-guess-refine」として知られる医療質問応答のためのアライメント戦略を提案する。この手法の予備的な分析により、USMLEデータセットから得られた質問のサブセットで70.63%のスコアが得られた。
論文参考訳（メタデータ） (2023-09-06T10:20:06Z)
Efficient Representation Learning for Healthcare with Cross-Architectural Self-Supervision [5.439020425819001]
この課題に対応するために、クロスアーキテクチャー・セルフスーパービジョン(CASS)を紹介します。そこで,CASSで訓練されたCNNとTransformerは,4つの多様な医療データセットにおいて,既存の自己教師型学習方法よりも優れていることを示す。また、CASSはバッチサイズの変化やエポックの事前訓練にかなり堅牢であることを示し、医療アプリケーションにおける機械学習の候補として適している。
論文参考訳（メタデータ） (2023-08-19T15:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。