論文の概要: Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain
- arxiv url: http://arxiv.org/abs/2307.03042v1
- Date: Thu, 6 Jul 2023 15:06:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-07 13:48:17.940342
- Title: Parameter-Efficient Fine-Tuning of LLaMA for the Clinical Domain
- Title(参考訳): 臨床領域におけるLLaMAのパラメータ効率向上
- Authors: Aryo Gema, Luke Daines, Pasquale Minervini, Beatrice Alex
- Abstract要約: 臨床応用のような新しい領域に事前訓練された言語モデルを適用するには、伝統的にパラメータの集合全体をトレーニングする必要がある。
オープンソースのLLaMAモデル上に構築されたPEFTアダプタ層である臨床用LLaMA-LoRAを提案する。
本稿では,2段階のPEFTフレームワークを提案する。このフレームワークは,下流のタスクに特化しているもう1つのPEFTアダプタであるLLaMA-LoRAと臨床LLaMA-LoRAを融合させる。
- 参考スコア(独自算出の注目度): 10.406800130623926
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapting pretrained language models to novel domains, such as clinical
applications, traditionally involves retraining their entire set of parameters.
However, this approach is increasingly proven to be impractical owing to the
substantial computational requirements associated with training such large
language models. To address this issue, Parameter-Efficient Fine-Tuning (PEFT)
techniques offer a viable solution by selectively fine-tuning a small subset of
additional parameters, significantly reducing the computational requirements
for domain adaptation. In this study, we propose Clinical LLaMA-LoRA, a PEFT
adapter layer built upon the open-sourced LLaMA model. Clinical LLaMA-LoRA is
trained using clinical notes obtained from the MIMIC-IV database, thereby
creating a specialised adapter designed for the clinical domain. Additionally,
we propose a two-step PEFT framework which fuses Clinical LLaMA-LoRA with
Downstream LLaMA-LoRA, another PEFT adapter specialised for downstream tasks.
We evaluate this framework on multiple clinical outcome prediction datasets,
comparing it to clinically trained language models. Our proposed framework
achieves a state-of-the-art AUROC score averaged across all clinical downstream
tasks. We observe substantial improvements of 6-9% AUROC score in the
large-scale multilabel classification tasks, such as diagnoses and procedures
classification.
- Abstract(参考訳): 臨床応用のような新しい領域に事前訓練された言語モデルを適用するには、伝統的にパラメータの集合全体をトレーニングする必要がある。
しかし、このような大規模言語モデルの訓練に関係するかなりの計算要求のため、このアプローチは実用的でないことがますます証明されている。
この問題に対処するために、パラメータ効率の良いファインチューニング(peft)技術は、追加のパラメータの小さなサブセットを選択的に微調整することで、実行可能なソリューションを提供する。
本研究では,オープンソースのLLaMAモデルに基づくPEFTアダプタ層である臨床LLaMA-LoRAを提案する。
MIMIC-IVデータベースから得られた臨床ノートを用いて臨床LLaMA-LoRAを訓練し、臨床領域用に設計された特別なアダプタを作成する。
さらに,2段階のPEFTフレームワークを提案する。このフレームワークは,下流タスクに特化した2段階のPEFTアダプタであるLLaMA-LoRAと臨床LLaMA-LoRAを融合する。
本稿では,複数の臨床結果予測データセットについて,臨床訓練言語モデルと比較した。
提案フレームワークは,すべての臨床下流タスクにおいて,最先端のaurocスコアを実現する。
診断や手順分類などの大規模多ラベル分類タスクにおいて,6-9%のAUROCスコアの大幅な改善が観察された。
関連論文リスト
- Towards Adapting Open-Source Large Language Models for Expert-Level Clinical Note Generation [19.721994833304517]
大言語モデル(LLM)は、臨床テキスト要約タスクの処理において有望な能力を示している。
患者と医師の対話から高品質な臨床ノートを作成するために,小規模なオープンソース LLM を効果的に訓練できることを実証した。
論文 参考訳(メタデータ) (2024-04-25T15:34:53Z) - CLUE: A Clinical Language Understanding Evaluation for LLMs [2.3814275542331385]
大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献する可能性を示している。
これらのモデルの評価は、主に非クリニカルなタスクに限られている。
本研究は,現実的な臨床業務におけるLLMの評価に適したベンチマークであるCLUEについて述べる。
論文 参考訳(メタデータ) (2024-04-05T12:51:37Z) - Towards Automatic Evaluation for LLMs' Clinical Capabilities: Metric, Data, and Algorithm [15.627870862369784]
大規模言語モデル (LLMs) は, 臨床診断の効率向上への関心が高まっている。
臨床サービス提供におけるLCMの能力を評価するための自動評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-03-25T06:17:54Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.2263444492222]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。
本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。
これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文 参考訳(メタデータ) (2024-02-05T08:25:22Z) - LMM-Assisted Breast Cancer Treatment Target Segmentation with Consistency Embedding [49.40059830266193]
放射線腫瘍学の分野に適した多目的大規模マルチモーダルモデル(LMM)であるRO-LMMを提案する。
本モデルでは, 臨床ワークフローにおける一連のタスク, 臨床報告要約, 放射線治療計画提案, 計画指導対象ボリュームセグメンテーションを網羅する。
また, クリーン入力の処理能力を保ちながら, LMMの頑健さをノイズ入力に高める, CEFTune(Consistency Embedding Fine-Tuning)技術を提案する。
論文 参考訳(メタデータ) (2023-11-27T14:49:06Z) - MOELoRA: An MOE-based Parameter Efficient Fine-Tuning Method for
Multi-task Medical Applications [60.218266928939606]
我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良いファインチューニングフレームワークを提案する。
MOEとLoRAを統一するために、私たちは複数の専門家をトレーニング可能なパラメータとして考えました。
実験の結果, MOELoRAは既存のパラメータ効率の高い微調整法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-21T17:18:09Z) - Scaling Clinical Trial Matching Using Large Language Models: A Case
Study in Oncology [17.214664001970526]
大規模言語モデル(LLM)を用いた臨床治験マッチングのスケーリングに関する系統的研究を行う。
本研究は、米国の大規模医療ネットワークにおいて、現在試験展開中の臨床試験マッチングシステムに基礎を置いている。
論文 参考訳(メタデータ) (2023-08-04T07:51:15Z) - Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。
ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。
以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
論文 参考訳(メタデータ) (2022-08-03T08:33:21Z) - Auto-FedRL: Federated Hyperparameter Optimization for
Multi-institutional Medical Image Segmentation [48.821062916381685]
Federated Learning(FL)は、明示的なデータ共有を避けながら協調的なモデルトレーニングを可能にする分散機械学習技術である。
本稿では,Auto-FedRLと呼ばれる,効率的な強化学習(RL)に基づくフェデレーションハイパーパラメータ最適化アルゴリズムを提案する。
提案手法の有効性は,CIFAR-10データセットと2つの実世界の医用画像セグメンテーションデータセットの不均一なデータ分割に対して検証される。
論文 参考訳(メタデータ) (2022-03-12T04:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。