Fugu-MT 論文翻訳(概要): The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations

論文の概要: The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations

arxiv url: http://arxiv.org/abs/2407.19299v1
Date: Sat, 27 Jul 2024 16:48:03 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 18:51:52.371384
Title: The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations
Title（参考訳）: LLM用LoRAアダプタがデータ制限下のNLP分類に及ぼす影響
Authors: Thanh-Dung Le, Ti Ti Nguyen, Vu Nguyen Ha,
Abstract要約: 臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
参考スコア（独自算出の注目度）: 4.72457683445805
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Fine-tuning Large Language Models (LLMs) for clinical Natural Language Processing (NLP) poses significant challenges due to the domain gap and limited data availability. This study investigates the effectiveness of various adapter techniques, equivalent to Low-Rank Adaptation (LoRA), for fine-tuning LLMs in a resource-constrained hospital environment. We experimented with four structures-Adapter, Lightweight, TinyAttention, and Gated Residual Network (GRN)-as final layers for clinical notes classification. We fine-tuned biomedical pre-trained models, including CamemBERT-bio, AliBERT, and DrBERT, alongside two Transformer-based models. Our extensive experimental results indicate that i) employing adapter structures does not yield significant improvements in fine-tuning biomedical pre-trained LLMs, and ii) simpler Transformer-based models, trained from scratch, perform better under resource constraints. Among the adapter structures, GRN demonstrated superior performance with accuracy, precision, recall, and an F1 score of 0.88. Moreover, the total training time for LLMs exceeded 1000 hours, compared to under 6 hours for simpler transformer-based models, highlighting that LLMs are more suitable for environments with extensive computational resources and larger datasets. Consequently, this study demonstrates that simpler Transformer-based models can be effectively trained from scratch, providing a viable solution for clinical NLP tasks in low-resource environments with limited data availability. By identifying the GRN as the most effective adapter structure, we offer a practical approach to enhance clinical note classification without requiring extensive computational resources.
Abstract（参考訳）: 臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。本研究は,低ランク適応 (LoRA) に準ずる各種アダプタ技術の,資源制約型病院環境における微調整LDMへの応用について検討した。臨床ノート分類のための最終層として,4つの構造適応器,軽量,TinyAttention,Gated Residual Network(GRN)を実験した。我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。我々の広範な実験結果から、一微調整バイオメディカルプレトレーニングLDMにおいて、アダプタ構造を用いることで、大幅な改善が得られず、二よりシンプルなトランスフォーマーベースのモデルで、スクラッチから訓練し、リソース制約下でより良い性能を発揮すること。アダプタ構造のうち、GRNは精度、精度、リコール、F1スコア0.88で優れた性能を示した。さらに、LLMのトレーニング時間は1000時間を超え、より単純なトランスフォーマーベースのモデルでは6時間以下であった。その結果,より単純なTransformerベースのモデルをスクラッチから効果的に訓練できることが示され,低リソース環境におけるNLPタスクに対して,限られたデータ可用性で実現可能なソリューションが提供される。 GRNを最も効果的なアダプタ構造として同定することにより、広範な計算資源を必要とせず、臨床ノート分類を強化するための実践的なアプローチを提供する。

関連論文リスト

Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
論文参考訳（メタデータ） (2025-02-14T13:10:39Z)
Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
論文参考訳（メタデータ） (2024-12-19T18:08:04Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
Geneverse: A collection of Open-source Multimodal Large Language Models for Genomic and Proteomic Research [20.285114234576298]
大規模言語モデル(LLM)は、生物医学と医療の研究に期待されている。本稿では,ゲノム学およびプロテオミクス研究における3つの新しい課題に対して,微調整LDMとマルチモーダルLSM(MLLM)のコレクションを提案する。 Geneverseのモデルは、ドメイン固有のデータセットに基づいてトレーニングされ、評価される。適応LLMとMLLMはこれらのタスクに対して良好に動作し、クローズドソースの大規模モデルよりも優れた性能を示す。
論文参考訳（メタデータ） (2024-06-21T14:19:10Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
論文参考訳（メタデータ） (2024-02-05T08:25:22Z)
A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification [1.4715634464004446]
大規模言語モデル(LLM)は、有望な伝達学習能力を実証している。 LLMは、大きな注釈付きデータセットをキュレートする必要性を減らし、臨床NLP研究の実行を高速化する可能性を実証した。これは、観察臨床研究におけるNLPに基づく変数の利用と結果の増加をもたらす可能性がある。
論文参考訳（メタデータ） (2024-01-25T02:05:31Z)
Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
論文参考訳（メタデータ） (2023-12-19T12:34:46Z)
Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。私たちのフレームワークは4つの重要なコンポーネントを強調しています。逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
論文参考訳（メタデータ） (2023-10-31T16:24:17Z)
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines [4.876281217951695]
NLPベースのコンピュータビジョンモデル、特に視覚変換器は、多くの画像処理タスクにおいてCNNモデルより優れていることが示されている。我々は,最近提案された5つのNLPモデルと4つのCNNモデルをベンチマークするために,デジタル病理パイプラインを開発した。我々のNLPモデルは、比較的小さなトレーニングデータセットを用いて、3つのバイオマーカー全てに対して最先端の予測を達成した。
論文参考訳（メタデータ） (2023-02-21T02:42:03Z)
Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文参考訳（メタデータ） (2022-10-23T16:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。