論文の概要: Prompting Large Language Models for Clinical Temporal Relation Extraction

• arxiv url: http://arxiv.org/abs/2412.04512v1
• Date: Wed, 04 Dec 2024 18:35:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:57:35.140262
• Title: Prompting Large Language Models for Clinical Temporal Relation Extraction
• Title（参考訳）: 臨床時間関係抽出のための大規模言語モデルの提案
• Authors: Jianping He, Laila Rasmy, Haifang Li, Jianfu Li, Zenan Sun, Evan Yu, Degui Zhi, Cui Tao,
• Abstract要約: 本研究は臨床時間的関係抽出(CTRE)に4つの大言語モデル(LLM)を用いる。 We developed full (FFT) and parameter-efficient (PEFT) fine-tuning strategy and the these strategy on the 2012 i2b2 CTRE task。
• 参考スコア（独自算出の注目度）: 5.403858596195122
• License:
• Abstract: Objective: This paper aims to prompt large language models (LLMs) for clinical temporal relation extraction (CTRE) in both few-shot and fully supervised settings. Materials and Methods: This study utilizes four LLMs: Encoder-based GatorTron-Base (345M)/Large (8.9B); Decoder-based LLaMA3-8B/MeLLaMA-13B. We developed full (FFT) and parameter-efficient (PEFT) fine-tuning strategies and evaluated these strategies on the 2012 i2b2 CTRE task. We explored four fine-tuning strategies for GatorTron-Base: (1) Standard Fine-Tuning, (2) Hard-Prompting with Unfrozen LLMs, (3) Soft-Prompting with Frozen LLMs, and (4) Low-Rank Adaptation (LoRA) with Frozen LLMs. For GatorTron-Large, we assessed two PEFT strategies-Soft-Prompting and LoRA with Frozen LLMs-leveraging Quantization techniques. Additionally, LLaMA3-8B and MeLLaMA-13B employed two PEFT strategies: LoRA strategy with Quantization (QLoRA) applied to Frozen LLMs using instruction tuning and standard fine-tuning. Results: Under fully supervised settings, Hard-Prompting with Unfrozen GatorTron-Base achieved the highest F1 score (89.54%), surpassing the SOTA model (85.70%) by 3.74%. Additionally, two variants of QLoRA adapted to GatorTron-Large and Standard Fine-Tuning of GatorTron-Base exceeded the SOTA model by 2.36%, 1.88%, and 0.25%, respectively. Decoder-based models with frozen parameters outperformed their Encoder-based counterparts in this setting; however, the trend reversed in few-shot scenarios. Discussions and Conclusions: This study presented new methods that significantly improved CTRE performance, benefiting downstream tasks reliant on CTRE systems. The findings underscore the importance of selecting appropriate models and fine-tuning strategies based on task requirements and data availability. Future work will explore larger models and broader CTRE applications.
• Abstract（参考訳）: 目的:本論文は,臨床時間的関係抽出(CTRE)のための大規模言語モデル (LLM) を,少数ショットと完全教師付き設定の両方で促進することを目的としている。 Materials and Methods: 本研究は、EncoderベースのGatorTron-Base(345M)/Large(8.9B)、DecoderベースのLLaMA3-8B/MeLLaMA-13Bの4つのLCMを利用する。 We developed full (FFT) and parameter-efficient (PEFT) fine-tuning strategy and the these strategy on the 2012 i2b2 CTRE task。 我々は,(1)標準微調整,(2)凍結LDMによるハードプロンプト,(3)凍結LDMによるソフトプロンプト,(4)低温LDMによるローランド適応(LoRA)の4つの方法を検討した。 GatorTron-Large に対し,凍結 LLM 平均量子化技術を用いた2つのPEFT戦略であるSoft-Prompting と LoRA を評価した。 さらに、LLaMA3-8BとMeLLaMA-13Bは2つのPEFT戦略を採用した。 結果: 完全に監督された設定の下では、アンフリーズ・ゲータトロンベースによるハードプロンピングは最高スコア(89.54%)を達成し、SOTAモデル(85.70%)を3.74%上回った。 さらに、GatorTron-LargeとStandard Fine-Tuning of GatorTron-Baseに適合した2種類のQLoRAは、それぞれ2.36%、1.88%、0.25%のSOTAモデルを上回った。 凍結パラメータを持つデコーダベースのモデルは、この設定ではエンコーダベースのモデルよりも優れていたが、この傾向は数ショットのシナリオで逆転した。 考察と結論:本研究はCTREの性能を著しく向上させる新しい手法を提示し,CTREシステムに依存した下流作業に役立てた。 この結果は、タスク要求とデータ可用性に基づいて適切なモデルと微調整戦略を選択することの重要性を浮き彫りにした。 今後は、より大きなモデルと広範なCTREアプリケーションについて検討する予定である。

関連論文リスト

• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models [10.179598253424103]
  大規模言語モデル(LLM)は様々なタスクで堅牢なパフォーマンスを実現していますが、これらのモデルを特定のドメイン向けに微調整することはリソース集約的です。 5Mパラメータしか持たないミニMLPモジュールを提案し、トップpサンプリング戦略を用いて文レベルで複数のLoRAを動的に融合する。 このアプローチは、並列計算を利用することで、単一のLoRA推論の2倍未満まで推論時間を短縮する。
  論文  参考訳（メタデータ） (2024-10-02T12:45:52Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement [79.31084387589968]
  事前訓練された大規模言語モデル(LLM)は、現在、自然言語処理タスクの大部分を解決するための最先端技術である。 LLM2LLMは、教師のLLMを使って小さなシードデータセットを強化するデータ拡張戦略である。 GSM8Kデータセットでは最大24.2%、CaseHOLDでは32.6%、SNIPSでは32.0%、TRECでは52.6%、SST-2では39.8%の改善が達成された。
  論文  参考訳（メタデータ） (2024-03-22T08:57:07Z)
• Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning [24.050346319335098]
  ファインチューニング戦略に基づく手法は、クロスドメインアプリケーションのための転送学習能力に制限がある。 本研究では,LLMを所望の出力に導くための訓練可能なプロンプトを導入し,ソフトプロンプトに基づく学習アーキテクチャを用いた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T02:34:33Z)
• Enabling Weak LLMs to Judge Response Reliability via Meta Ranking [38.63721941742435]
  我々は、$textitMeta Ranking$ (MR) と呼ばれるクロスクエリベースの新しい手法を提案する。 MRは、ターゲットクエリ-レスポンスペアを複数の参照クエリ-レスポンスペアにペアでランク付けすることで、信頼性を評価する。 MRはモデルカスケーディングとインストラクションチューニングの2つの実用的応用において、強力なLLMの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-19T13:57:55Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• Model Tuning or Prompt Tuning? A Study of Large Language Models for Clinical Concept and Relation Extraction [26.504643007899592]
  我々は,大規模言語モデル(LLM)のためのソフトプロンプトベース学習アルゴリズムを開発した。 本研究では, プロンプトのない微調整, 凍結LDMによるハードプロンプト, 凍結LDMによるソフトプロンプト, 凍結LDMによるソフトプロンプトの4つのトレーニング戦略を比較した。 クロスインスティテュート・セッティングにおいて,プロンプト・ベース・ラーニング・アルゴリズムの伝達学習能力を評価する。
  論文  参考訳（メタデータ） (2023-10-10T01:27:08Z)
• Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting [65.00288634420812]
  Pairwise Ranking Prompting (PRP)は、大規模言語モデル(LLM)の負担を大幅に軽減する手法である。 本研究は,中等級のオープンソースLCMを用いた標準ベンチマークにおいて,最先端のランク付け性能を達成した文献としては初めてである。
  論文  参考訳（メタデータ） (2023-06-30T11:32:25Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。