論文の概要: Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.21970v1
• Date: Mon, 23 Mar 2026 13:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.688826
• Title: Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
• Title（参考訳）: 医用テキスト要約のためのパラメータ効率の良いファインチューニング:ロラ,プロンプト,フルファインチューニングの比較検討
• Authors: Ulugbek Shernazarov, Rostislav Svitsov, Bin Shi,
• Abstract要約: 本稿では, PubMed の医用要約データセット上で, Flan-T5 モデルファミリ間のローランド適応 (LoRA), プロンプト調整 (Prompt Tuning), フルファインチューニング (Full Fine-Tuning-a across the Flan-T5 model family) の3つの適応手法を比較した。 LoRAはフル微調整で43.52 +/- 0.18 ROUGE-1をFlan-T5-Largeで達成し、フル微調整では40.67 +/- 0.21に比べてわずか0.6%のトレーニング可能なパラメータしか達成できなかった。
• 参考スコア（独自算出の注目度）: 13.495539801703389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models for domain-specific tasks such as medical text summarization demands substantial computational resources. Parameter-efficient fine-tuning (PEFT) methods offer promising alternatives by updating only a small fraction of parameters. This paper compares three adaptation approaches-Low-Rank Adaptation (LoRA), Prompt Tuning, and Full Fine-Tuning-across the Flan-T5 model family on the PubMed medical summarization dataset. Through experiments with multiple random seeds, we demonstrate that LoRA consistently outperforms full fine-tuning, achieving 43.52 +/- 0.18 ROUGE-1 on Flan-T5-Large with only 0.6% trainable parameters compared to 40.67 +/- 0.21 for full fine-tuning. Sensitivity analyses examine the impact of LoRA rank and prompt token count. Our findings suggest the low-rank constraint provides beneficial regularization, challenging assumptions about the necessity of full parameter updates. Code is available at https://github.com/eracoding/llm-medical-summarization
• Abstract（参考訳）: 医学的なテキスト要約のようなドメイン固有のタスクのための微調整された大きな言語モデルは、かなりの計算資源を必要とする。 パラメータ効率のよい微調整(PEFT)法は、少数のパラメータだけを更新することで、有望な代替手段を提供する。 本稿では, PubMed の医用要約データセット上で, Flan-T5 モデルファミリ間のローランド適応 (LoRA), プロンプト調整 (Prompt Tuning), フルファインチューニング (Full Fine-Tuning-a across the Flan-T5 model family) の3つの適応手法を比較した。 複数のランダムシードを用いた実験により、LoRAはフル微調整において40.67 +/- 0.21と比較して43.52 +/- 0.18 ROUGE-1をFlan-T5-Largeでわずか0.6%のトレーニング可能なパラメータで達成することに成功した。 感度分析は、LoRAランクとプロンプトトークン数の影響を調べる。 以上の結果から,低ランク制約は,完全なパラメータ更新の必要性を前提として,有益な正規化を実現することが示唆された。 コードはhttps://github.com/eracoding/llm-medical-summarizationで入手できる。

関連論文リスト

• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• SALT: Parameter-Efficient Fine-Tuning via Singular Value Adaptation with Low-Rank Transformation [6.267971370719281]
  大きな基礎モデルはかなりの柔軟性を提供するが、これらのモデルを微調整するコストは依然として大きな障壁である。 トレーニング可能なスケールとシフトパラメータを用いて,最も影響力のある特異値を選択的に適応するSALTを提案する。 このハイブリッドアプローチはLoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増すことなく効果的な適応を可能にする。
  論文  参考訳（メタデータ） (2025-03-20T11:42:41Z)
• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Parameter-Efficient Fine-Tuning with Layer Pruning on Free-Text Sequence-to-Sequence Modeling [5.601559340796398]
  本稿では,LoRAと構造化層プルーニングを統合したフレームワークを提案する。 当社のフレームワークは,GPUメモリ使用量の50%削減と,トレーニングフェーズの100%高速化を実現しています。
  論文  参考訳（メタデータ） (2023-05-15T00:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。