論文の概要: The Impact of LoRA Adapters on LLMs for Clinical Text Classification Under Computational and Data Constraints

• arxiv url: http://arxiv.org/abs/2407.19299v3
• Date: Mon, 28 Jul 2025 12:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-29 22:32:02.199836
• Title: The Impact of LoRA Adapters on LLMs for Clinical Text Classification Under Computational and Data Constraints
• Title（参考訳）: 計算・データ制約下における臨床テキスト分類における LoRA アダプタが LLM に与える影響
• Authors: Thanh-Dung Le, Ti Ti Nguyen, Vu Nguyen Ha, Symeon Chatzinotas, Philippe Jouvet, Rita Noumeir,
• Abstract要約: 臨床自然言語処理(NLP)のための細調整された大規模言語モデル(LLM)は、ドメインギャップ、限られたデータ、厳密なハードウェア制約のために大きな課題を提起する。 本研究では,適応器,軽量化,TinyAttention,Gated Residual Network (GRN) の4つのアダプタ技術の評価を行った。 すべての実験は1つのNVIDIA P620 GPU(2GB VRAM、512コア、1.386TFLOPS FP32)で行われ、バッチサイズは2568、シーケンス長は2568トークンに制限された。
• 参考スコア（独自算出の注目度）: 32.23468444597675
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Fine-tuning Large Language Models (LLMs) for clinical Natural Language Processing (NLP) poses significant challenges due to domain gap, limited data, and stringent hardware constraints. In this study, we evaluate four adapter techniques-Adapter, Lightweight, TinyAttention, and Gated Residual Network (GRN) - equivalent to Low-Rank Adaptation (LoRA), for clinical note classification under real-world, resource-constrained conditions. All experiments were conducted on a single NVIDIA Quadro P620 GPU (2 GB VRAM, 512 CUDA cores, 1.386 TFLOPS FP32), limiting batch sizes to <8 sequences and maximum sequence length to 256 tokens. Our clinical corpus comprises only 580 000 tokens, several orders of magnitude smaller than standard LLM pre-training datasets. We fine-tuned three biomedical pre-trained LLMs (CamemBERT-bio, AliBERT, DrBERT) and two lightweight Transformer models trained from scratch. Results show that 1) adapter structures provide no consistent gains when fine-tuning biomedical LLMs under these constraints, and 2) simpler Transformers, with minimal parameter counts and training times under six hours, outperform adapter-augmented LLMs, which required over 1000 GPU-hours. Among adapters, GRN achieved the best metrics (accuracy, precision, recall, F1 = 0.88). These findings demonstrate that, in low-resource clinical settings with limited data and compute, lightweight Transformers trained from scratch offer a more practical and efficient solution than large LLMs, while GRN remains a viable adapter choice when minimal adaptation is needed.
• Abstract（参考訳）: 臨床自然言語処理(NLP)のための細調整された大規模言語モデル(LLM)は、ドメインギャップ、限られたデータ、厳密なハードウェア制約のために大きな課題を提起する。 本研究では,現実の資源制約条件下での臨床メモ分類において,適応,軽量,TinyAttention,Gated Residual Network(GRN)の4つのアダプタ技術の評価を行った。 すべての実験は1つのNVIDIA Quadro P620 GPU(2GB VRAM、512 CUDAコア、1.386 TFLOPS FP32)で行われ、バッチサイズは<8シーケンスに制限され、最大シーケンス長は256トークンに制限された。 臨床用コーパスは580万トークンのみであり、標準LLM事前学習データセットよりも数桁小さい。 我々は,3つのバイオメディカルプレトレーニングLDM(CamemBERT-bio,AliBERT,DrBERT)と2つの軽量トランスフォーマーモデルをスクラッチから訓練した。 その結果は 1)これらの制約下での微調整バイオメディカルLLMにおいて、アダプタ構造は、一貫した利得を与えない。 2 よりシンプルなトランスフォーマーで、パラメータカウントが最小で6時間未満のトレーニング時間で、アダプタ拡張 LLM を上回り、1000 GPU 時間以上を要した。 アダプタの中で、GRNは最高のメトリクス(精度、精度、リコール、F1 = 0.88)を達成した。 これらの結果から,スクラッチからトレーニングした軽量トランスフォーマーは,低リソースな臨床環境において,LLMよりも実用的で効率的なソリューションを提供する一方,GRNは最小限の適応を必要とする場合にも有効なアダプタ選択であることがわかった。

関連論文リスト

• Small Models, Big Impact: Efficient Corpus and Graph-Based Adaptation of Small Multilingual Language Models for Low-Resource Languages [10.418542753869433]
  低リソース言語(LRL)は、限られたデータのために自然言語処理(NLP)において重大な課題に直面している。 現在の最先端の大規模言語モデル(LLM)は、まだLRLと競合している。 mBERTやXLM-Rのような小さなマルチリンガルモデル(mLM)は、トレーニングデータサイズに適合する能力が向上するため、より有望である。
  論文  参考訳（メタデータ） (2025-02-14T13:10:39Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• STAL: Spike Threshold Adaptive Learning Encoder for Classification of Pain-Related Biosignal Data [2.0738462952016232]
  本稿では,EmoPainデータセットを用いた慢性腰痛 (CLBP) 分類のためのスパイキングニューラルネットワーク (SNN) の最初の応用について述べる。 本稿では,連続生体信号をスパイク列車に変換する訓練可能なエンコーダであるSpike Threshold Adaptive Learning (STAL)を紹介する。 また,SEMG と IMU データのマルチストリーム処理のためのスパイキングリカレントニューラルネットワーク (SRNN) 分類器のアンサンブルを提案する。
  論文  参考訳（メタデータ） (2024-07-11T10:15:52Z)
• Geneverse: A collection of Open-source Multimodal Large Language Models for Genomic and Proteomic Research [20.285114234576298]
  大規模言語モデル(LLM)は、生物医学と医療の研究に期待されている。 本稿では,ゲノム学およびプロテオミクス研究における3つの新しい課題に対して,微調整LDMとマルチモーダルLSM(MLLM)のコレクションを提案する。 Geneverseのモデルは、ドメイン固有のデータセットに基づいてトレーニングされ、評価される。 適応LLMとMLLMはこれらのタスクに対して良好に動作し、クローズドソースの大規模モデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-21T14:19:10Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• A comparative study of zero-shot inference with large language models and supervised modeling in breast cancer pathology classification [1.4715634464004446]
  大規模言語モデル(LLM)は、有望な伝達学習能力を実証している。 LLMは、大きな注釈付きデータセットをキュレートする必要性を減らし、臨床NLP研究の実行を高速化する可能性を実証した。 これは、観察臨床研究におけるNLPに基づく変数の利用と結果の増加をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-01-25T02:05:31Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [54.682106515794864]
  オフライン強化学習(RL)は、事前コンパイルされたデータセットを使用して、ほぼ最適ポリシーを見つけることを目的としている。 本稿では、オフラインRLに事前学習言語モデル(LM)を使用するための決定変換器に基づく一般的なフレームワークである、$textbfMo$tion Control用の$textbfLanguage Models(textbfLaMo$)を紹介する。 経験的な結果から、$textbfLaMo$はスパース・リワードタスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines [4.876281217951695]
  NLPベースのコンピュータビジョンモデル、特に視覚変換器は、多くの画像処理タスクにおいてCNNモデルより優れていることが示されている。 我々は,最近提案された5つのNLPモデルと4つのCNNモデルをベンチマークするために,デジタル病理パイプラインを開発した。 我々のNLPモデルは、比較的小さなトレーニングデータセットを用いて、3つのバイオマーカー全てに対して最先端の予測を達成した。
  論文  参考訳（メタデータ） (2023-02-21T02:42:03Z)
• Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
  我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。 文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
  論文  参考訳（メタデータ） (2022-10-23T16:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。