論文の概要: Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks

• arxiv url: http://arxiv.org/abs/2208.14923v1
• Date: Wed, 31 Aug 2022 15:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-01 13:21:45.264776
• Title: Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks
• Title（参考訳）: シームズニューラルネットワークを用いた臨床自然言語処理のためのFew-Shot Learning
• Authors: David Oniani, Sonish Sivarajkumar, Yanshan Wang
• Abstract要約: 臨床自然言語処理(NLP)は医療の新たな技術になりつつある。 深層学習は多くの臨床NLPタスクで最先端のパフォーマンスを達成した。 ディープラーニングモデルのトレーニングは通常、大きな注釈付きデータセットを必要とするが、通常は公開されていない。
• 参考スコア（独自算出の注目度）: 3.9586758145580014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clinical Natural Language Processing (NLP) has become an emerging technology in healthcare that leverages a large amount of free-text data in electronic health records (EHRs) to improve patient care, support clinical decisions, and facilitate clinical and translational science research. Deep learning has achieved state-of-the-art performance in many clinical NLP tasks. However, training deep learning models usually require large annotated datasets, which are normally not publicly available and can be time-consuming to build in clinical domains. Working with smaller annotated datasets is typical in clinical NLP and therefore, ensuring that deep learning models perform well is crucial for the models to be used in real-world applications. A widely adopted approach is fine-tuning existing Pre-trained Language Models (PLMs), but these attempts fall short when the training dataset contains only a few annotated samples. Few-Shot Learning (FSL) has recently been investigated to tackle this problem. Siamese Neural Network (SNN) has been widely utilized as an FSL approach in computer vision, but has not been studied well in NLP. Furthermore, the literature on its applications in clinical domains is scarce. In this paper, we propose two SNN-based FSL approaches for clinical NLP, including pre-trained SNN (PT-SNN) and SNN with second-order embeddings (SOE-SNN). We evaluated the proposed approaches on two clinical tasks, namely clinical text classification and clinical named entity recognition. We tested three few-shot settings including 4-shot, 8-shot, and 16-shot learning. Both clinical NLP tasks were benchmarked using three PLMs, including BERT, BioBERT, and BioClinicalBERT. The experimental results verified the effectiveness of the proposed SNN-based FSL approaches in both clinical NLP tasks.
• Abstract（参考訳）: 臨床自然言語処理(NLP)は、電子健康記録(EHR)に大量の自由テキストデータを活用し、患者のケアを改善し、臨床決定を支援し、臨床および翻訳科学研究を促進する医療の新興技術となっている。 深層学習は多くの臨床NLPタスクで最先端のパフォーマンスを達成した。 しかし、ディープラーニングモデルのトレーニングには、通常、公開されていない大きな注釈付きデータセットが必要であり、臨床ドメインを構築するのに時間がかかります。 より小さなアノテートデータセットを扱うことは、臨床NLPでは典型的であるため、ディープラーニングモデルの性能が向上することが、実際のアプリケーションで使用されるモデルにとって極めて重要である。 広く採用されているアプローチは、既存の事前学習言語モデル(plm)の微調整であるが、トレーニングデータセットにいくつかの注釈付きサンプルが含まれている場合、これらの試みは不足する。 FSL(Few-Shot Learning)は近年,この問題に対処するために研究されている。 シームズニューラルネットワーク(SNN)はコンピュータビジョンにおいてFSLアプローチとして広く利用されているが、NLPではよく研究されていない。 さらに、臨床領域におけるその応用に関する文献は少ない。 本稿では,2次埋め込み (SOE-SNN) を用いた事前訓練SNN (PT-SNN) と2次埋め込み (SOE-SNN) を含む臨床NLPのための2つのSNNベースのFSLアプローチを提案する。 臨床テキスト分類と臨床名称認識の2つの臨床課題について,提案手法の評価を行った。 4ショット、8ショット、16ショットの学習を含む3つの数ショット設定をテストしました。 どちらのNLPタスクもBERT、BioBERT、BioClinicalBERTを含む3つのPLMを用いてベンチマークした。 両NLPタスクにおける提案したSNNベースのFSLアプローチの有効性を実験的に検証した。

関連論文リスト

• An Introduction to Natural Language Processing Techniques and Framework for Clinical Implementation in Radiation Oncology [1.2714439146420664]
  放射線オンコロジー研究において,大規模言語モデル(LLM)を用いた最先端NLPアプリケーションを提案する。 LLMは、厳格な評価と検証を必要とする幻覚、偏見、倫理的違反など、多くの誤りを起こしやすい。 本論は, 臨床放射線腫瘍学におけるNLPモデルの開発と利用に関心がある研究者や臨床医に対して, 指導と洞察を提供することを目的とする。
  論文  参考訳（メタデータ） (2023-11-03T19:32:35Z)
• Knowledge-Infused Prompting: Assessing and Advancing Clinical Text Data Generation with Large Language Models [48.07083163501746]
  臨床自然言語処理には、ドメイン固有の課題に対処できる方法が必要である。 我々は,そのプロセスに知識を注入する,革新的で資源効率のよいアプローチであるClinGenを提案する。 7つのNLPタスクと16のデータセットを比較検討した結果,ClinGenはさまざまなタスクのパフォーマンスを継続的に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-01T04:37:28Z)
• An Empirical Evaluation of Prompting Strategies for Large Language Models in Zero-Shot Clinical Natural Language Processing [4.758617742396169]
  本研究は,5つのNLPタスクに対する即時エンジニアリングに関する包括的,系統的研究である。 近年の文献では, 単純な接頭辞, 単純なクローゼ, 思考の連鎖, 予測プロンプトなどが提案されている。 臨床NLPにおけるLCMの迅速なエンジニアリングのための新しい知見とガイドラインを提供する。
  論文  参考訳（メタデータ） (2023-09-14T19:35:00Z)
• Multi-Site Clinical Federated Learning using Recursive and Attentive Models and NVFlare [13.176351544342735]
  本稿では、データプライバシと規制コンプライアンスの課題に対処する統合フレームワークを開発する。 これには、データのプライバシと規制コンプライアンスの課題に対処し、高い精度を維持し、提案されたアプローチの有効性を実証する統合フレームワークの開発が含まれている。
  論文  参考訳（メタデータ） (2023-06-28T17:00:32Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
  一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。 医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。 外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
  論文  参考訳（メタデータ） (2022-07-01T14:17:11Z)
• HealthPrompt: A Zero-shot Learning Paradigm for Clinical Natural Language Processing [3.762895631262445]
  われわれはHealthPromptという新しいプロンプトベースのNLPフレームワークを開発した。 本研究は,6種類のPLMを用いたHealthPromptの詳細な分析を行った。 本実験は,臨床テキストのコンテキストを効果的に把握し,トレーニングデータなしで極めて良好に動作できることを証明した。
  論文  参考訳（メタデータ） (2022-03-09T21:44:28Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。