Fugu-MT 論文翻訳(概要): A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment

論文の概要: A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment

arxiv url: http://arxiv.org/abs/2505.10717v2
Date: Wed, 21 May 2025 17:36:21 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-22 13:19:52.306906
Title: A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment
Title（参考訳）: プレインストラクションチューニング, モデルマージ, 臨床タスクアライメントを併用した合成データによる臨床SLMのモジュール的アプローチ
Authors: Jean-Philippe Corbeil, Amin Dada, Jean-Michel Attendu, Asma Ben Abacha, Alessandro Sordoni, Lucas Caccia, François Beaulieu, Thomas Lin, Jens Kleesiek, Paul Vozila,
Abstract要約: 小型言語モデル(SLM)は、GPT-4のような大規模言語モデルに代わる費用対効果を提供する。 SLMは費用対効果のある代替手段を提供するが、その限られた能力は生物医学的な領域適応を必要とする。本研究では,SLMを高性能な臨床モデルに適用するための新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 46.776978552161395
License: http://creativecommons.org/licenses/by/4.0/
Abstract: High computation costs and latency of large language models such as GPT-4 have limited their deployment in clinical settings. Small language models (SLMs) offer a cost-effective alternative, but their limited capacity requires biomedical domain adaptation, which remains challenging. An additional bottleneck is the unavailability and high sensitivity of clinical data. To address these challenges, we propose a novel framework for adapting SLMs into high-performing clinical models. We introduce the MediPhi collection of 3.8B-parameter SLMs developed with our novel framework: pre-instruction tuning of experts on relevant medical and clinical corpora (PMC, Medical Guideline, MedWiki, etc.), model merging, and clinical-tasks alignment. To cover most clinical tasks, we extended the CLUE benchmark to CLUE+, doubling its size. Our expert models deliver relative improvements on this benchmark over the base model without any task-specific fine-tuning: 64.3% on medical entities, 49.5% on radiology reports, and 44% on ICD-10 coding (outperforming GPT-4-0125 by 14%). We unify the expert models into MediPhi via model merging, preserving gains across benchmarks. Furthermore, we built the MediFlow collection, a synthetic dataset of 2.5 million high-quality instructions on 14 medical NLP tasks, 98 fine-grained document types, and JSON format support. Alignment of MediPhi using supervised fine-tuning and direct preference optimization achieves further gains of 18.9% on average.
Abstract（参考訳）: GPT-4のような大規模言語モデルの高い計算コストとレイテンシは、臨床環境でのデプロイメントを制限している。小型言語モデル(SLM)は費用対効果のある代替手段を提供するが、その限られた能力はバイオメディカルなドメイン適応を必要とする。その他のボトルネックは、臨床データの可用性の欠如と高感度である。これらの課題に対処するために,SLMを高性能な臨床モデルに適用するための新しい枠組みを提案する。新たな枠組みで開発された3.8BパラメータSLMのMedPhiコレクションについて紹介する: 関連する医療・臨床コーパス(PMC, 医療ガイドライン, MedWikiなど)の専門家の事前指導, モデルマージ, 臨床・タスクアライメント。ほとんどの臨床的タスクをカバーするため、CLUEベンチマークをCLUE+に拡張し、そのサイズを2倍にした。我々の専門家モデルは、このベンチマークをタスク固有の微調整なしでベースモデルに対して相対的に改善している:医療機関の64.3%、放射線学の49.5%、ICD-10コーディングの44%(GPT-4-0125を14%上回る)。エキスパートモデルをモデルマージを通じてMediPhiに統合し、ベンチマーク間で利益を保ちます。さらに、14のNLPタスク、98のきめ細かいドキュメントタイプ、JSONフォーマットをサポートする、250万の高品質な命令の合成データセットであるMediFlowコレクションを構築しました。教師付き微調整と直接選好最適化を用いたメディファイのアライメントは、平均18.9%のさらなる向上を達成する。

論文の概要: A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment

関連論文リスト