論文の概要: HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing

• arxiv url: http://arxiv.org/abs/2203.05061v1
• Date: Wed, 9 Mar 2022 21:44:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 13:43:11.633144
• Title: HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing
• Title（参考訳）: HealthPrompt: 臨床自然言語処理のためのゼロショット学習パラダイム
• Authors: Sonish Sivarajkumar, Yanshan Wang
• Abstract要約: われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。 本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。 本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
• 参考スコア（独自算出の注目度）: 3.762895631262445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning algorithms are dependent on the availability of large-scale annotated clinical text datasets. The lack of such publicly available datasets is the biggest bottleneck for the development of clinical Natural Language Processing(NLP) systems. Zero-Shot Learning(ZSL) refers to the use of deep learning models to classify instances from new classes of which no training data have been seen before. Prompt-based learning is an emerging ZSL technique where we define task-based templates for NLP tasks. We developed a novel prompt-based clinical NLP framework called HealthPrompt and applied the paradigm of prompt-based learning on clinical texts. In this technique, rather than fine-tuning a Pre-trained Language Model(PLM), the task definitions are tuned by defining a prompt template. We performed an in-depth analysis of HealthPrompt on six different PLMs in a no-data setting. Our experiments prove that prompts effectively capture the context of clinical texts and perform remarkably well without any training data.
• Abstract（参考訳）: ディープラーニングアルゴリズムは、大規模注釈付き臨床テキストデータセットの可用性に依存する。 このような公開データセットの欠如は、臨床自然言語処理(NLP)システムの開発における最大のボトルネックである。 Zero-Shot Learning(ZSL)は、ディープラーニングモデルを使用して、トレーニングデータがない新しいクラスからインスタンスを分類する。 プロンプトベースの学習は、NLPタスクのためのタスクベースのテンプレートを定義する新しいZSL技術である。 healthpromptと呼ばれる新しいプロンプトベースの臨床nlpフレームワークを開発し,臨床テキストにプロンプトベース学習のパラダイムを適用した。 このテクニックでは、事前訓練された言語モデル(PLM)を微調整するのではなく、プロンプトテンプレートを定義することでタスク定義を調整する。 我々は6つの異なるplmにおけるhealthpromptの詳細な分析を行った。 本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。

関連論文リスト

• Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data Generation with Large Language Models [48.07083163501746]
  臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。 我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。 7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-01T04:37:28Z)
• An Empirical Evaluation of Prompting Strategies for Large Language Models in Zero-Shot Clinical Natural Language Processing [4.758617742396169]
  本研究は,5つのNLPタスクに対する即時エンジニアリングに関する包括的,系統的研究である。 近年の文献では, 単純な接頭辞, 単純なクローゼ, 思考の連鎖, 予測プロンプトなどが提案されている。 臨床NLPにおけるLCMの迅速なエンジニアリングのための新しい知見とガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-09-14T19:35:00Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks [3.9586758145580014]
  臨床自然言語処理(NLP)は医療の新たな技術になりつつある。 深層学習は多くの臨床NLPタスクで最先端のパフォーマンスを達成した。 ディープラーニングモデルのトレーニングは通常、大きな注釈付きデータセットを必要とするが、通常は公開されていない。
  論文  参考訳（メタデータ） (2022-08-31T15:36:27Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)
• AdaPrompt: Adaptive Model Training for Prompt-based NLP [77.12071707955889]
  PLMの継続事前学習のための外部データを適応的に検索するAdaPromptを提案する。 5つのNLPベンチマークの実験結果から、AdaPromptは数ショット設定で標準PLMよりも改善可能であることが示された。 ゼロショット設定では、標準のプロンプトベースの手法を26.35%の相対誤差削減で上回ります。
  論文  参考訳（メタデータ） (2022-02-10T04:04:57Z)
• Prompt-Learning for Fine-Grained Entity Typing [40.983849729537795]
  完全教師付き,少数ショット,ゼロショットシナリオにおける微粒化エンティティタイピングに対するプロンプトラーニングの適用について検討する。 本稿では,エンティティタイプの情報を自動的に要約するために,プロンプトラーニングにおける分布レベルの最適化を行う自己教師型戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-24T09:39:35Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。