論文の概要: Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.21970v1
• Date: Mon, 23 Mar 2026 13:35:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.688826
• Title: Parameter-Efficient Fine-Tuning for Medical Text Summarization: A Comparative Study of Lora, Prompt Tuning, and Full Fine-Tuning
• Title（参考訳）: 医用テキスト要約のためのパラメータ効率の良いファインチューニング:ロラ,プロンプト,フルファインチューニングの比較検討
• Abstract要約: 本稿では, PubMed の医用要約データセット上で, Flan-T5 モデルファミリ間のローランド適応 (LoRA), プロンプト調整 (Prompt Tuning), フルファインチューニング (Full Fine-Tuning-a across the Flan-T5 model family) の3つの適応手法を比較した。 LoRAはフル微調整で43.52 +/- 0.18 ROUGE-1をFlan-T5-Largeで達成し、フル微調整では40.67 +/- 0.21に比べてわずか0.6%のトレーニング可能なパラメータしか達成できなかった。
• 参考スコア（独自算出の注目度）: 13.495539801703389
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models for domain-specific tasks such as medical text summarization demands substantial computational resources. Parameter-efficient fine-tuning (PEFT) methods offer promising alternatives by updating only a small fraction of parameters. This paper compares three adaptation approaches-Low-Rank Adaptation (LoRA), Prompt Tuning, and Full Fine-Tuning-across the Flan-T5 model family on the PubMed medical summarization dataset. Through experiments with multiple random seeds, we demonstrate that LoRA consistently outperforms full fine-tuning, achieving 43.52 +/- 0.18 ROUGE-1 on Flan-T5-Large with only 0.6% trainable parameters compared to 40.67 +/- 0.21 for full fine-tuning. Sensitivity analyses examine the impact of LoRA rank and prompt token count. Our findings suggest the low-rank constraint provides beneficial regularization, challenging assumptions about the necessity of full parameter updates. Code is available at https://github.com/eracoding/llm-medical-summarization
• Abstract（参考訳）: 医学的なテキスト要約のようなドメイン固有のタスクのための微調整された大きな言語モデルは、かなりの計算資源を必要とする。 パラメータ効率のよい微調整(PEFT)法は、少数のパラメータだけを更新することで、有望な代替手段を提供する。 本稿では, PubMed の医用要約データセット上で, Flan-T5 モデルファミリ間のローランド適応 (LoRA), プロンプト調整 (Prompt Tuning), フルファインチューニング (Full Fine-Tuning-a across the Flan-T5 model family) の3つの適応手法を比較した。 複数のランダムシードを用いた実験により、LoRAはフル微調整において40.67 +/- 0.21と比較して43.52 +/- 0.18 ROUGE-1をFlan-T5-Largeでわずか0.6%のトレーニング可能なパラメータで達成することに成功した。 感度分析は、LoRAランクとプロンプトトークン数の影響を調べる。 以上の結果から,低ランク制約は,完全なパラメータ更新の必要性を前提として,有益な正規化を実現することが示唆された。 コードはhttps://github.com/eracoding/llm-medical-summarizationで入手できる。

関連論文リスト

• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models [4.092357804635167]
  本稿では,TLoRA+を事前学習モデルの重み行列に組み込む新しいPEFT法を提案する。 提案手法は,低ランク適応の効率を保ちながら,計算コストを大幅に増大させることなく性能を向上させる。
  論文  参考訳（メタデータ） (2026-04-15T00:30:57Z)
• High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
  論文  参考訳（メタデータ） (2026-01-12T13:06:17Z)
• SALT: Parameter-Efficient Fine-Tuning via Singular Value Adaptation with Low-Rank Transformation [6.267971370719281]
  大きな基礎モデルはかなりの柔軟性を提供するが、これらのモデルを微調整するコストは依然として大きな障壁である。 トレーニング可能なスケールとシフトパラメータを用いて,最も影響力のある特異値を選択的に適応するSALTを提案する。 このハイブリッドアプローチはLoRAとSVDの両方の利点を活用し、モデルのサイズや深さを増すことなく効果的な適応を可能にする。
  論文  参考訳（メタデータ） (2025-03-20T11:42:41Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation [17.649599011681712]
  大規模言語モデル(LLM)は、その巨大なサイズのため、リソース集約性が高いため、微調整が可能である。 本稿では,評価器の分散を低減し,最終的なモデル出力の安定性を高めるために,低ランク微調整における効果的なパラメータ化の重要性を強調した。 モンテカルロ推定を応用して,低次パラメータの非バイアス後推定を低次分散で学習する,効率的な微調整手法であるモンテクロラを提案する。
  論文  参考訳（メタデータ） (2024-11-07T01:31:48Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• LoRA$^2$ : Multi-Scale Low-Rank Approximations for Fine-Tuning Large Language Models [3.7049613588433497]
  Low-Rank Adaptation (LoRA)は、微調整のためのトレーニング可能なパラメータの数を著しく削減する。 LoRAを複数のスケールに拡張し、LoRA$2$と名付けます。
  論文  参考訳（メタデータ） (2024-08-13T12:31:30Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
  本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。 特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
  論文  参考訳（メタデータ） (2024-05-30T17:26:02Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• When MOE Meets LLMs: Parameter Efficient Fine-tuning for Multi-task Medical Applications [57.342772288710044]
  我々はMOELoRAと呼ばれるマルチタスク医療応用のためのパラメータ効率の良い微調整フレームワークを提案する。 MOEとLoRAを統一するために、トレーニング可能なパラメータとして複数の専門家を考案し、トレーニング可能なパラメータの小さなサイズを保持するために、各専門家は2つの低ランク行列から構成される。 マルチタスク医療データセットを用いて実験を行い、MOELoRAが既存のパラメータを効率よく微調整する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-21T17:18:09Z)
• Parameter-Efficient Fine-Tuning with Layer Pruning on Free-Text Sequence-to-Sequence Modeling [5.601559340796398]
  本稿では,LoRAと構造化層プルーニングを統合したフレームワークを提案する。 当社のフレームワークは,GPUメモリ使用量の50%削減と,トレーニングフェーズの100%高速化を実現しています。
  論文  参考訳（メタデータ） (2023-05-15T00:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。