論文の概要: Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting

• arxiv url: http://arxiv.org/abs/2403.13369v1
• Date: Wed, 20 Mar 2024 08:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-21 17:38:28.111635
• Title: Clinical information extraction for Low-resource languages with Few-shot learning using Pre-trained language models and Prompting
• Title（参考訳）: プレトレーニング言語モデルとプロンプトを用いたFew-shot Learningを用いた低リソース言語の臨床情報抽出
• Authors: Phillip Richter-Pechanski, Philipp Wiesenbach, Dominic M. Schwab, Christina Kiriakou, Nicolas Geis, Christoph Dieterich, Anette Frank,
• Abstract要約: 臨床資料から医療情報を自動抽出することはいくつかの課題をもたらす。 ドメイン適応とプロンプト手法の最近の進歩は、最小限のトレーニングデータで有望な結果を示した。 軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。
• 参考スコア（独自算出の注目度）: 12.166472806042592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic extraction of medical information from clinical documents poses several challenges: high costs of required clinical expertise, limited interpretability of model predictions, restricted computational resources and privacy regulations. Recent advances in domain-adaptation and prompting methods showed promising results with minimal training data using lightweight masked language models, which are suited for well-established interpretability methods. We are first to present a systematic evaluation of these methods in a low-resource setting, by performing multi-class section classification on German doctor's letters. We conduct extensive class-wise evaluations supported by Shapley values, to validate the quality of our small training data set and to ensure the interpretability of model predictions. We demonstrate that a lightweight, domain-adapted pretrained model, prompted with just 20 shots, outperforms a traditional classification model by 30.5% accuracy. Our results serve as a process-oriented guideline for clinical information extraction projects working with low-resource.
• Abstract（参考訳）: 臨床文献から医療情報を自動抽出することは、必要な臨床専門知識のコスト、モデル予測の限定的な解釈可能性、制限された計算資源、プライバシー規制など、いくつかの課題を提起する。 近年のドメイン適応とプロンプト手法の進歩は、十分に確立された解釈可能性手法に適した軽量マスキング言語モデルを用いて、最小限のトレーニングデータで有望な結果を示した。 われわれはまず,これらの手法を低リソース環境で体系的に評価し,ドイツの医師の手紙を多クラスに分類する手法を提案する。 我々は、Shapley値に支えられた広範なクラスワイド評価を行い、小さなトレーニングデータセットの品質を検証し、モデル予測の解釈可能性を保証する。 軽量でドメイン適応型事前訓練モデルが20ショットでトリガーされ、従来の分類モデルを30.5%精度で上回っていることを実証する。 本研究は,低リソースで作業する臨床情報抽出プロジェクトのプロセス指向ガイドラインとして機能する。

関連論文リスト

• Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
  本研究では,大規模言語モデル (LLM) を用いて予測モデルの事前分布を推定する手法を提案する。 本研究では,LLMがパラメータ分布を真に生成するかどうかを評価するとともに,文脈内学習と事前推論のためのモデル選択戦略を提案する。 その結果,LLMによる事前パラメータ分布は,低データ設定における非形式的先行よりも予測誤差を著しく低減することがわかった。
  論文  参考訳（メタデータ） (2024-11-26T10:13:39Z)
• Developing Healthcare Language Model Embedding Spaces [0.20971479389679337]
  事前トレーニングされた大規模言語モデル(LLM)は、医療中心のテキストのようなドメイン外のデータセットに苦労することが多い。 従来のマスキング言語モデリング、Deep Contrastive Learning for Unsupervised Textual Representations(DeCLUTR)、およびヘルスケア設定からメタデータカテゴリを利用する新しい事前学習目標の3つの手法が評価されている。 対照的に訓練されたモデルは、分類タスクにおける他のアプローチよりも優れており、限られたラベル付きデータから強力なパフォーマンスを提供し、必要なモデルパラメータの更新を少なくする。
  論文  参考訳（メタデータ） (2024-03-28T19:31:32Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Estimating Redundancy in Clinical Text [6.245180523143739]
  臨床医は、既存のメモを複製し、それに従って更新することで、新しい文書をポップアップさせる。 情報冗長性の定量化は、臨床物語を扱う革新を評価する上で重要な役割を果たす。 冗長性を測定するための2つの戦略として,情報理論アプローチと語彙論的・意味論的モデルを提示し,評価する。
  論文  参考訳（メタデータ） (2021-05-25T11:01:45Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)
• Language Models Are An Effective Patient Representation Learning Technique For Electronic Health Record Data [7.260199064831896]
  本研究では,自然言語処理技術に触発された患者表現方式により,臨床予測モデルの精度が向上することを示す。 このような患者表現方式は、標準的な基準よりも5つの予測タスクにおいて、3.5%の平均的なAUROCの改善を可能にする。
  論文  参考訳（メタデータ） (2020-01-06T22:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。