論文の概要: On Cross-Domain Pre-Trained Language Models for Clinical Text Mining:
How Do They Perform on Data-Constrained Fine-Tuning?
- arxiv url: http://arxiv.org/abs/2210.12770v1
- Date: Sun, 23 Oct 2022 16:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:02:54.591823
- Title: On Cross-Domain Pre-Trained Language Models for Clinical Text Mining:
How Do They Perform on Data-Constrained Fine-Tuning?
- Title（参考訳）: 臨床テキストマイニングのためのクロスドメイン事前学習言語モデルについて:データ制約ファインチューニングでどのように機能するか?
- Authors: Yuping Wu and Lifeng Han and Valerio Antonini and Goran Nenadic
- Abstract要約: プレトレーニング言語モデル(PLM)は多くの自然言語処理(NLP)タスクや様々なドメインにデプロイされている。
本稿では,トランスフォーマと条件付きランダムフィールド(CRF)をエンコーダおよびデコーダとして用いたエンド・ツー・エンドモデルであるTransformerCRFを提案する。
臨床テキストマイニングにおけるTransformerCRFの性能について,限られた量のデータとモデルを用いて,スクラッチからトレーニングすることで検討した。
- 参考スコア（独自算出の注目度）: 7.479160954840647
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pre-trained language models (PLMs) have been deployed in many natural
language processing (NLP) tasks and in various domains. Language model
pre-training from general or mixed domain rich data plus fine-tuning using
small amounts of available data in a low resource domain demonstrated
beneficial results by researchers. In this work, we question this statement and
verify if BERT-based PLMs from the biomedical domain can perform well in
clinical text mining tasks via fine-tuning. We test the state-of-the-art
models, i.e. Bioformer which is pre-trained on a large amount of biomedical
data from PubMed corpus. We use a historical n2c2 clinical NLP challenge
dataset for fine-tuning its task-adapted version (BioformerApt), and show that
their performances are actually very low. We also present our own end-to-end
model, TransformerCRF, which is developed using Transformer and conditional
random fields (CRFs) as encoder and decoder. We further create a new variation
model by adding a CRF layer on top of PLM Bioformer (BioformerCRF). We
investigate the performances of TransformerCRF on clinical text mining tasks by
training from scratch using a limited amount of data, as well as the model
BioformerCRF. Experimental evaluation shows that, in a \textit{constrained
setting}, all tested models are \textit{far from ideal} regarding extreme
low-frequency special token recognition, even though they can achieve
relatively higher accuracy on overall text tagging. Our models including source
codes will be hosted at \url{https://github.com/poethan/TransformerCRF}.
- Abstract（参考訳）: プレトレーニング言語モデル(PLM)は多くの自然言語処理(NLP)タスクや様々なドメインにデプロイされている。
一般または混合領域から事前学習した言語モデル リッチデータと低リソース領域で少量のデータを使用する微調整は研究者から有益である。
そこで本研究では,生体医学領域のbertベースのplmが,微調整による臨床テキストマイニング作業において有効であるかどうかを検証する。
我々は,PubMed corpusから大量のバイオメディカルデータに基づいて,バイオフォーマーを事前訓練した最先端モデルをテストする。
タスク適応バージョン(BioformerApt)を微調整するために,歴史的n2c2臨床NLPチャレンジデータセットを使用し,その性能が極めて低いことを示す。
また、エンコーダおよびデコーダとしてtransformer and conditional random fields (crfs) を用いて開発したエンド・ツー・エンドモデルtransformercrfを提案する。
さらに, PLM Bioformer (Bioformer CRF) 上に CRF 層を追加することで, 新たな変動モデルを作成する。
臨床テキストマイニングにおけるTransformerCRFの性能を,限られた量のデータとモデルを用いてスクラッチからトレーニングすることで検討した。
実験により,テキストタグ付けの精度が比較的高い場合でも,テスト対象のモデルはすべて,極端に低周波な特殊トークン認識に関する‘textit{far from ideal’であることがわかった。
ソースコードを含む私たちのモデルは、 \url{https://github.com/poethan/TransformerCRF}でホストされます。
関連論文リスト
- A Comparative Study of Hybrid Models in Health Misinformation Text Classification [0.43695508295565777]
本研究では、オンラインソーシャルネットワーク(OSN)上での新型コロナウイルス関連誤情報検出における機械学習(ML)モデルとディープラーニング(DL)モデルの有効性を評価する。
本研究は, 従来のMLアルゴリズムよりも, DLおよびハイブリッドDLモデルの方が, OSN上の新型コロナウイルスの誤情報を検出するのに有効であることが示唆された。
論文 参考訳（メタデータ） (2024-10-08T19:43:37Z) - CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。
ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文 参考訳（メタデータ） (2024-07-02T15:05:19Z) - Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。
予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。
提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文 参考訳（メタデータ） (2024-06-20T18:35:47Z) - Low-resource classification of mobility functioning information in
clinical sentences using large language models [0.0]
本研究は,臨床ノートから機能的情報の存在を正確に識別する,公開可能な大規模言語モデル(LLM)の能力を評価するものである。
我々は,n2c2臨床ノートから算出したモビリティNERデータセットから,1000文のバランスの取れたバイナリ分類データセットを収集した。
論文 参考訳（メタデータ） (2023-12-15T20:59:17Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Estimating oil recovery factor using machine learning: Applications of
XGBoost classification [0.0]
石油工学では、極端回復因子であるRFを決定することが不可欠である。
そこで,本研究では,手軽に利用できる特徴を用いた機械学習(ML)を用いて,10種類の油圧RFを推定する。
論文 参考訳（メタデータ） (2022-10-28T18:21:25Z) - ADT-SSL: Adaptive Dual-Threshold for Semi-Supervised Learning [68.53717108812297]
Semi-Supervised Learning (SSL)は、ラベル付きデータとラベルなしデータを併用してモデルをトレーニングすることで、高度な分類タスクを実現している。
本稿では,半教師付き学習(ADT-SSL)のための適応的デュアル閾値法を提案する。
実験の結果,提案したADT-SSLは最先端の分類精度を実現することがわかった。
論文 参考訳（メタデータ） (2022-05-21T11:52:08Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - DeBERTaV3: Improving DeBERTa using ELECTRA-Style Pre-Training with
Gradient-Disentangled Embedding Sharing [117.41016786835452]
本稿では,DeBERTaモデルの改良を目的とした,事前学習型言語モデルDeBERTaV3を提案する。
ELECTRAでのバニラ埋め込み共有は、トレーニング効率とモデルパフォーマンスを損なう。
そこで本研究では、タグ・オブ・ウォーのダイナミクスを回避するために、新しい勾配距離の埋め込み方式を提案する。
論文 参考訳（メタデータ） (2021-11-18T06:48:00Z) - Fine-tuning BERT for Low-Resource Natural Language Understanding via
Active Learning [30.5853328612593]
本研究では,事前学習した Transformer ベースの言語モデル BERT の微調整手法について検討する。
実験結果から,モデルの知識獲得度を最大化することで,モデル性能の優位性を示す。
我々は、微調整中の言語モデルの凍結層の利点を分析し、トレーニング可能なパラメータの数を減らす。
論文 参考訳（メタデータ） (2020-12-04T08:34:39Z) - Deep F-measure Maximization for End-to-End Speech Understanding [52.36496114728355]
本稿では,F測度に対する微分可能な近似法を提案し,標準バックプロパゲーションを用いてネットワークをトレーニングする。
我々は、アダルト、コミュニティ、犯罪の2つの標準フェアネスデータセットの実験を行い、ATISデータセットの音声・インテリジェンス検出と音声・COCOデータセットの音声・イメージ概念分類を行った。
これらの4つのタスクのすべてにおいて、F測定は、クロスエントロピー損失関数で訓練されたモデルと比較して、最大8%の絶対的な絶対的な改善を含む、マイクロF1スコアの改善をもたらす。
論文 参考訳（メタデータ） (2020-08-08T03:02:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。