論文の概要: A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP

• arxiv url: http://arxiv.org/abs/2604.06650v1
• Date: Wed, 08 Apr 2026 03:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.327962
• Title: A Parameter-Efficient Transfer Learning Approach through Multitask Prompt Distillation and Decomposition for Clinical NLP
• Title（参考訳）: マルチタスクプロンプト蒸留と分解によるNLPのパラメータ効率向上
• Authors: Cheng Peng, Mengxian Lyu, Ziyi Chen, Yonghui Wu,
• Abstract要約: 本稿では,マルチタスク・プロンプト蒸留と分解の枠組みを提案する。 21の多様な臨床ソースタスクから1つの共有メタプロンプトを学習する。 トレーニング可能なパラメータが0.05%未満のターゲットタスクに適応する。
• 参考スコア（独自算出の注目度）: 11.512193481146122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing prompt-based fine-tuning methods typically learn task-specific prompts independently, imposing significant computing and storage overhead at scale when deploying multiple clinical natural language processing (NLP) systems. We present a multitask prompt distillation and decomposition framework that learns a single shared metaprompt from 21 diverse clinical source tasks and adapts it to unseen target tasks with fewer than 0.05% trainable parameters. Evaluated across five clinical NLP task types (named entity recognition, relation extraction, question answering, natural language inference, and summarization) on 10 held-out target datasets using three backbone models (LLaMA 3.1 8B, Meditron3 8B, gpt-oss 20B), our framework consistently outperforms LoRA by 1.5~1.7% despite using orders of magnitude fewer parameters, and exceeds single-task prompt tuning by 6.1~6.6%. The gpt-oss 20B model achieves the highest overall performance, particularly on clinical reasoning tasks. The strong zero- and few-shot performance demonstrates better transferability of the shared prompt representation.
• Abstract（参考訳）: 既存のプロンプトベースの微調整手法は、通常、複数の臨床自然言語処理(NLP)システムをデプロイする際に、タスク固有のプロンプトを独立して学習し、大規模に計算とストレージのオーバーヘッドを増大させる。 本稿では,21種類の臨床ソースタスクから1つの共有メタプロンプトを学習し,0.05%未満のトレーニングパラメータで未確認の目標タスクに適応するマルチタスク・プロンプト蒸留・分解フレームワークを提案する。 3つのバックボーンモデル (LLaMA 3.1 8B, Meditron3 8B, gpt-oss 20B) を用いて, 5 つの臨床 NLP タスクタイプ (エンティティ認識, 関係抽出, 質問応答, 自然言語推論, 要約) で評価した。 gpt-oss 20Bモデルは、特に臨床推論タスクにおいて、全体的なパフォーマンスが最も高い。 強いゼロショットと少数ショットのパフォーマンスは、共有プロンプト表現の転送性の向上を示している。

関連論文リスト

• Soft Injection of Task Embeddings Outperforms Prompt-Based In-Context Learning [5.778024594615575]
  In-Context Learning (ICL)は、インプット内の入出力例を条件にすることで、大規模言語モデルがタスクを実行することを可能にする。 本研究では,タスク埋め込みのソフトインジェクションを提案する。 ソフトインジェクションは、タスク埋め込みとアテンションヘッドアクティベーションとをソフトに混合して行う。
  論文  参考訳（メタデータ） (2025-07-28T14:59:17Z)
• RAMIE: Retrieval-Augmented Multi-task Information Extraction with Large Language Models on Dietary Supplements [12.224815934085154]
  臨床記録から食事サプリメント(DS)に関する情報を抽出するための多タスク大言語モデル(LLM)フレームワークを開発した。 我々は4つの中核DS情報抽出タスクをマルチタスクとして使用した。 RAMIEフレームワークの助けを借りて、Llama2-13BはNERタスクでF1スコア87.39(3.51%改善)を達成した。 TEタスクでは、Llama2-7Bは79.45点(14.26%改善)、MedAlpaca-7Bは93.45点(0.94%改善)を記録した。
  論文  参考訳（メタデータ） (2024-11-24T03:56:43Z)
• Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
  本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。 Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。 DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
  論文  参考訳（メタデータ） (2023-12-17T20:42:43Z)
• Generative Large Language Models Are All-purpose Text Analytics Engines: Text-to-text Learning Is All Your Need [24.672621081551675]
  テキスト・トゥ・テキスト・ラーニング(text-to-text learning)として7つの重要なNLPタスクを定式化し,1つの総合的臨床LCMを用いて解決した。 提案手法は,7つの主要なNLPタスクのうち5つに対して,1つの統合生成LDMを用いて最先端の性能を達成した。
  論文  参考訳（メタデータ） (2023-12-11T04:00:26Z)
• Exploring Small Language Models with Prompt-Learning Paradigm for Efficient Domain-Specific Text Classification [2.410463233396231]
  小型言語モデル(SLM)は、ドメイン固有のタスクに対して、大幅なカスタマイズ性、適応性、コスト効率を提供する。 プロンプトベースのモデル微調整が可能となる場合、T5ベースは220Mパラメータを持つ典型的なSLMであり、ラベル付きデータで約75%の精度が得られる。 固定モデルを用いたゼロショット設定では、約154Bのパラメータを備えたGPT-3.5-turboが55.16%の精度を持つにもかかわらず、よく設計されたプロンプトのパワーが明らかになるという重要な観察結果が得られた。
  論文  参考訳（メタデータ） (2023-09-26T09:24:46Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Attentional Mixtures of Soft Prompt Tuning for Parameter-efficient Multi-task Knowledge Sharing [53.399742232323895]
  ATTEMPTは、新しいモジュラー、マルチタスク、パラメータ効率の言語モデル(LM)チューニングアプローチである。 異なるタスク間で伝達される知識をソフトプロンプトの混合によって組み合わせ、元のLMをそのまま維持する。 パラメータ効率(例えば、微調整よりも1,600倍少ないパラメータを更新)であり、マルチタスク学習と柔軟な拡張を可能にする。
  論文  参考訳（メタデータ） (2022-05-24T10:48:33Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• A Simple Language Model for Task-Oriented Dialogue [61.84084939472287]
  SimpleTODはタスク指向対話に対する単純なアプローチであり、すべてのサブタスクのリキャストで訓練された単一因果言語モデルを単一シーケンス予測問題として利用する。 これによりSimpleTODは、事前訓練されたオープンドメイン、GPT-2のような因果言語モデルからのトランスファー学習を完全に活用できる。
  論文  参考訳（メタデータ） (2020-05-02T11:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。