論文の概要: Clinical Prompt Learning with Frozen Language Models

• arxiv url: http://arxiv.org/abs/2205.05535v1
• Date: Wed, 11 May 2022 14:25:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 22:53:36.981232
• Title: Clinical Prompt Learning with Frozen Language Models
• Title（参考訳）: 凍結言語モデルを用いた臨床即興学習
• Authors: Niall Taylor, Yi Zhang, Dan Joyce, Alejo Nevado-Holgado, Andrey Kormilitzin
• Abstract要約: 大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
• 参考スコア（独自算出の注目度）: 4.077071350659386
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt learning is a new paradigm in the Natural Language Processing (NLP) field which has shown impressive performance on a number of natural language tasks with common benchmarking text datasets in full, few-shot, and zero-shot train-evaluation setups. Recently, it has even been observed that large but frozen pre-trained language models (PLMs) with prompt learning outperform smaller but fine-tuned models. However, as with many recent NLP trends, the performance of even the largest PLMs such as GPT-3 do not perform well on specialized domains (e.g. medical text), and the common practice to achieve State of the Art (SoTA) results still consists of pre-training and fine-tuning the PLMs on downstream tasks. The reliance on fine-tuning large PLMs is problematic in clinical settings where data is often held in non-GPU environments, and more resource efficient methods of training specialized domain models is crucial. We investigated the viability of prompt learning on clinically meaningful decision tasks and directly compared with more traditional fine-tuning methods. Results are partially in line with the prompt learning literature, with prompt learning able to match or improve on traditional fine-tuning with substantially fewer trainable parameters and requiring less training data. We argue that prompt learning therefore provides lower computational resource costs applicable to clinical settings, that can serve as an alternative to fine-tuning ever increasing in size PLMs. Complementary code to reproduce experiments presented in this work can be found at: https://github.com/NtaylorOX/P ublic_Clinical_Prompt.
• Abstract（参考訳）: プロンプトラーニングは、自然言語処理(nlp)の分野で新しいパラダイムであり、多くの自然言語タスクにおいて印象的なパフォーマンスを示し、ベンチマークテキストデータセットをフル、少数、ゼロショットのトレーニング評価設定で提供する。 近年,大規模だが凍結した事前学習言語モデル (PLM) が,より小型だが微調整されたモデルよりも高速に学習できることが観察されている。 しかし、近年のNLPの動向と同様に、GPT-3のような最大のPLMでも、特定のドメイン(例えば医療用テキスト)では性能が良くなく、また、ステート・オブ・ザ・アート(SoTA)を達成するための一般的な実践は、下流タスクにおけるPLMの事前訓練と微調整によって構成されている。 非GPU環境においてデータが頻繁に保持される臨床環境では、微調整の大きなPLMへの依存が問題であり、特殊なドメインモデルを訓練するより効率的な手法が不可欠である。 臨床的に有意な意思決定課題における即時学習の有効性について検討し,従来の微調整法と直接比較した。 結果の一部はプロンプト学習文献と一致しており、トレーニング可能なパラメータが大幅に少なくなり、トレーニングデータが少なく、従来の微調整とマッチしたり改善したりすることができる。 そこで我々は,即時学習が臨床環境に適用可能な計算資源コストを低減し,PLMの増大に伴う微調整の代替となることを論じる。 この研究で提示された実験を再現するための補完コードは、https://github.com/NtaylorOX/P ublic_Clinical_Promptにある。
• 全文 参考訳へのリンク

関連論文リスト

• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing [3.762895631262445]
  われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。 本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。 本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
  論文  参考訳（メタデータ） (2022-03-09T21:44:28Z)
• BERT WEAVER: Using WEight AVERaging to Enable Lifelong Learning for Transformer-based Models [69.54942445850462]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• CPM-2: Large-scale Cost-effective Pre-trained Language Models [71.59893315671997]
  本稿では, PLM を用いた事前学習, 微調整, 推論の効率性問題に対処するための費用対効果技術について述べる。 我々は,既存のPLMをスクラッチからトレーニングする代わりに活用することで,事前学習プロセスの促進を目的とした知識継承を導入する。 計算資源が限られている大規模PLMに対して,新しい推論ツールキット,すなわちInfMoEを実装した。
  論文  参考訳（メタデータ） (2021-06-20T15:43:54Z)
• Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning [30.5853328612593]
  本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。 実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。 我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
  論文  参考訳（メタデータ） (2020-12-04T08:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。