論文の概要: Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction

• arxiv url: http://arxiv.org/abs/2310.06239v1
• Date: Tue, 10 Oct 2023 01:27:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 21:08:11.869133
• Title: Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction
• Title（参考訳）: モデルチューニングか、プロンプトチューニングか? 臨床概念と関係抽出のための大規模言語モデルの検討
• Authors: Cheng Peng, Xi Yang, Kaleb E Smith, Zehao Yu, Aokun Chen, Jiang Bian, Yonghui Wu
• Abstract要約: 我々は,大規模言語モデル(LLM)のためのソフトプロンプトベース学習アルゴリズムを開発した。 本研究では, プロンプトのない微調整, 凍結LDMによるハードプロンプト, 凍結LDMによるソフトプロンプト, 凍結LDMによるソフトプロンプトの4つのトレーニング戦略を比較した。 クロスインスティテュート・セッティングにおいて,プロンプト・ベース・ラーニング・アルゴリズムの伝達学習能力を評価する。
• 参考スコア（独自算出の注目度）: 26.504643007899592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective To develop soft prompt-based learning algorithms for large language models (LLMs), examine the shape of prompts, prompt-tuning using frozen/unfrozen LLMs, transfer learning, and few-shot learning abilities. Methods We developed a soft prompt-based LLM model and compared 4 training strategies including (1) fine-tuning without prompts; (2) hard-prompt with unfrozen LLMs; (3) soft-prompt with unfrozen LLMs; and (4) soft-prompt with frozen LLMs. We evaluated 7 pretrained LLMs using the 4 training strategies for clinical concept and relation extraction on two benchmark datasets. We evaluated the transfer learning ability of the prompt-based learning algorithms in a cross-institution setting. We also assessed the few-shot learning ability. Results and Conclusion When LLMs are unfrozen, GatorTron-3.9B with soft prompting achieves the best strict F1-scores of 0.9118 and 0.8604 for concept extraction, outperforming the traditional fine-tuning and hard prompt-based models by 0.6~3.1% and 1.2~2.9%, respectively; GatorTron-345M with soft prompting achieves the best F1-scores of 0.8332 and 0.7488 for end-to-end relation extraction, outperforming the other two models by 0.2~2% and 0.6~11.7%, respectively. When LLMs are frozen, small (i.e., 345 million parameters) LLMs have a big gap to be competitive with unfrozen models; scaling LLMs up to billions of parameters makes frozen LLMs competitive with unfrozen LLMs. For cross-institute evaluation, soft prompting with a frozen GatorTron-8.9B model achieved the best performance. This study demonstrates that (1) machines can learn soft prompts better than humans, (2) frozen LLMs have better few-shot learning ability and transfer learning ability to facilitate muti-institution applications, and (3) frozen LLMs require large models.
• Abstract（参考訳）: 目的 大規模言語モデル(LLM)のためのソフトプロンプトベース学習アルゴリズムの開発,プロンプトの形状,凍結・凍結LDMを用いたプロンプトチューニング,トランスファラーニング,少数ショット学習能力について検討する。 方法 ソフトプロンプトベースLLMモデルを開発し,(1)プロンプトなしの微調整,(2)凍結LLM付きハードプロンプト,(3)凍結LLM付きソフトプロンプト,(4)凍結LLM付きソフトプロンプトの4つのトレーニング戦略を比較した。 2つのベンチマークデータセットを用いて,臨床概念と関係抽出のための4つのトレーニング戦略を用いて,事前学習した7つのLSMを評価した。 クロスインスティテュート環境下では,プロンプトベース学習アルゴリズムの伝達学習能力を評価した。 また,学習能力も評価した。 結果と結論 LLM が凍結しない場合、GatorTron-3.9B はソフトプロンプトの F1 スコアを0.9118 と 0.8604 でそれぞれ0.6~3.1% と 1.2~2.9% で上回り、ソフトプロンプトの GatorTron-345M は0.8332 と 0.7488 で最高 F1 スコアをそれぞれ0.22% と 0.6~11.7% で上回ります。 LLMが凍結されると(すなわち3億4500万のパラメータ)、LLMは未凍結モデルと競合する大きなギャップを持つ。 クロスインフォーマル評価では、凍ったGatorTron-8.9Bモデルによるソフトプロンプトが最高性能を達成した。 本研究は,(1)機械が人間よりもソフトプロンプトを学習できること,(2)冷凍LLMはミューティ・インスティテュート・アプリケーションを促進するために,より少ないショット学習能力とトランスファー学習能力を有すること,(3)冷凍LLMは大きなモデルを必要とすることを実証する。

関連論文リスト

• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Prompting Large Language Models for Clinical Temporal Relation Extraction [5.403858596195122]
  本研究は臨床時間的関係抽出(CTRE)に4つの大言語モデル(LLM)を用いる。 We developed full (FFT) and parameter-efficient (PEFT) fine-tuning strategy and the these strategy on the 2012 i2b2 CTRE task。
  論文  参考訳（メタデータ） (2024-12-04T18:35:28Z)
• LLM-Neo: Parameter Efficient Knowledge Distillation for Large Language Models [45.99790250483618]
  本稿では,大規模言語モデルからコンパクトな学生に知識を効率的に伝達する新しいフレームワークを提案する。 この観察から着想を得た我々は,LoRAとKDを組み合わせて知識伝達の効率化を図る。
  論文  参考訳（メタデータ） (2024-11-11T10:07:51Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• Extend Model Merging from Fine-Tuned to Pre-Trained Large Language Models via Weight Disentanglement [72.97553348776425]
  我々は、FTからPT LLMへのマージ技術の適用性を拡大するための先駆的な取り組みを行っている。 WeIght DisENtanglement (WIDEN) に基づくアプローチを導入し、マージ範囲を効果的に拡張する。 Qwen1.5-Chat (FT LLM with instruction-following skills) と Sailor (PT LLM with multilingual abilities) を7Bおよび14Bモデルスケールにマージする。
  論文  参考訳（メタデータ） (2024-08-06T10:46:46Z)
• Q-Sparse: All Large Language Models can be Fully Sparsely-Activated [93.45300714803429]
  Q-Sparseは、スパースアクティベートされた大規模言語モデル(LLM)を訓練するための、シンプルで効果的なアプローチである。 Q-Sparse は LLM における活性化の完全な分散を可能にし、推論においてかなりの効率向上をもたらす。 バッチトレーニングと推論のためのBlock Q-Sparseも導入しています。
  論文  参考訳（メタデータ） (2024-07-15T17:59:29Z)
• Delta-CoMe: Training-Free Delta-Compression with Mixed-Precision for Large Language Models [79.46938238953916]
  多様なアプリケーションへの微調整された大規模言語モデル(LLM)は、複雑な要求を満たすために不可欠である。 近年の研究では、微調整LDMをベースモデルと対応するデルタウェイトに分解し、低ランクまたは低ビットのアプローチで圧縮してコストを削減することが示唆されている。 本研究では,従来の低ランク圧縮法と低ビット圧縮法がタスク固有の微調整LDMのモデル性能を著しく損なうことを観察する。
  論文  参考訳（メタデータ） (2024-06-13T07:57:27Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。