論文の概要: Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes

• arxiv url: http://arxiv.org/abs/2303.15846v1
• Date: Tue, 28 Mar 2023 09:36:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 15:46:33.955682
• Title: Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes
• Title（参考訳）: プライマリケアフリーテキストオランダ医学ノートを用いた肺癌予測のためのソフトプロパントチューニング
• Authors: Auke Elfrink, Iacopo Vagliano, Ameen Abu-Hanna, Iacer Calixto
• Abstract要約: オランダ人医師のフリーテキスト医療ノートに文脈表現を用いた肺がんの予測を行った。 肺癌はプライマリケアの頻度が低いため,高度不均衡クラスにおける分類の問題にも対処する。 1) ソフトプロンプトチューニングは, 標準的なモデルファインチューニングの代替として有効なこと, 2) PLMは, 分類問題がより不均衡になるにつれて, 単純な静的単語埋め込みモデルと比較して, より優れた差別性を示すが, キャリブレーションの低下を示すこと, 3) 少数の患者でのトレーニングモデルが混在し, PLMとWEMの明確な相違を示さないこと, が判明した。
• 参考スコア（独自算出の注目度）: 2.7528170226206434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate different natural language processing (NLP) approaches based on contextualised word representations for the problem of early prediction of lung cancer using free-text patient medical notes of Dutch primary care physicians. Because lung cancer has a low prevalence in primary care, we also address the problem of classification under highly imbalanced classes. Specifically, we use large Transformer-based pretrained language models (PLMs) and investigate: 1) how \textit{soft prompt-tuning} -- an NLP technique used to adapt PLMs using small amounts of training data -- compares to standard model fine-tuning; 2) whether simpler static word embedding models (WEMs) can be more robust compared to PLMs in highly imbalanced settings; and 3) how models fare when trained on notes from a small number of patients. We find that 1) soft-prompt tuning is an efficient alternative to standard model fine-tuning; 2) PLMs show better discrimination but worse calibration compared to simpler static word embedding models as the classification problem becomes more imbalanced; and 3) results when training models on small number of patients are mixed and show no clear differences between PLMs and WEMs. All our code is available open source in \url{https://bitbucket.org/aumc-kik/prompt_tuning_cancer_prediction/}.
• Abstract（参考訳）: オランダのプライマリケア医のフリーテキスト患者医療ノートを用いて,早期肺癌の予測問題に対する文脈的表現に基づく異なる自然言語処理(NLP)アプローチについて検討した。 肺癌はプライマリケアの頻度が低いため,高度不均衡クラスにおける分類の問題にも対処する。 具体的には, 大規模トランスフォーマー型事前学習言語モデル (plms) を用いて検討を行う。 1) <textit{soft prompt-tuning} -- PLMを少量のトレーニングデータで適用するためのNLPテクニック -- は、標準モデルの微調整と比較する。 2) 単純な静的単語埋め込みモデル(WEM)が、高度に不均衡な環境でのPLMよりも堅牢であるかどうか。 3)少数の患者から音符を習う際にどのようなモデルをとるか。 私たちはそれを見つけ 1)ソフトプロンプトチューニングは,標準モデルの微調整に代わる効率的な方法である。 2) PLMは, 分類問題がより不均衡になるにつれて, 単純な静的単語埋め込みモデルと比較して, 識別性が向上するが, キャリブレーションが悪くなる。 3) 少数の患者のトレーニングモデルが混合され, PLMとWEMの明確な相違は認められなかった。 すべてのコードは、 \url{https://bitbucket.org/aumc-kik/prompt_tuning_cancer_prediction/}で公開されている。

関連論文リスト

• RE-tune: Incremental Fine Tuning of Biomedical Vision-Language Models for Multi-label Chest X-ray Classification [8.856568375969848]
  本稿では,マルチモーダル・バイオメディカル・ビジョン・ランゲージ・モデルを微調整する新しいアプローチであるRE-tuneを紹介する。 工学的な肯定的および否定的なテキストプロンプトにより、我々は大規模言語モデルの能力を活用できる。 我々は,RE-tuneを3つの現実的な段階的学習シナリオ(クラスインクリメンタル,ラベルインクリメンタル,データインクリメンタル)で評価する。
  論文  参考訳（メタデータ） (2024-10-23T12:40:33Z)
• Classification of Radiological Text in Small and Imbalanced Datasets in a Non-English Language [8.93554009307115]
  自然言語処理は、非英語の小さなデータセットを含む現実世界のアプリケーションでは性能が劣る可能性がある。 BERT-like transformer, few-shot learning with sentence transformer (SetFit) などのNLPモデルのセットを評価し,大規模言語モデル (LLM) を誘導した。 以上の結果から,放射線学報告の対象領域で事前訓練されたBERT様モデルでは,このシナリオに最適な性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-09-30T09:52:28Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• Clinical Prompt Learning with Frozen Language Models [4.077071350659386]
  大規模だが凍結した事前学習言語モデル (PLMs) は、より小型で微調整されたモデルよりも高速に学習できる。 臨床的に有意な意思決定課題における即時学習の実現可能性について検討した。 結果は、学習の速さと部分的に一致しており、学習の速さは従来の微調整と一致したり改善したりすることができる。
  論文  参考訳（メタデータ） (2022-05-11T14:25:13Z)
• Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing [55.52858954615655]
  バイオメディカルNLPの微調整安定性に関する系統的研究を行った。 我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。 これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:20:35Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。