Fugu-MT 論文翻訳(概要): A Small-Scale Switch Transformer and NLP-based Model for Clinical Narratives Classification

論文の概要: A Small-Scale Switch Transformer and NLP-based Model for Clinical Narratives Classification

arxiv url: http://arxiv.org/abs/2303.12892v1
Date: Wed, 22 Mar 2023 20:10:29 GMT
ステータス: 処理完了
システム内更新日: 2023-03-24 16:27:29.598705
Title: A Small-Scale Switch Transformer and NLP-based Model for Clinical Narratives Classification
Title（参考訳）: 臨床物語分類のための小型スイッチ変換器とNLPモデル
Authors: Thanh-Dung Le, Philippe Jouvet, Rita Noumeir
Abstract要約: 簡単なSwitch Transformerフレームワークを提案し、フランスの小さな臨床テキスト分類データセットでスクラッチからトレーニングする。以上の結果から,小型変圧器の簡易化は,既存のBERTモデルよりも優れていた。
参考スコア（独自算出の注目度）: 0.2578242050187029
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In recent years, Transformer-based models such as the Switch Transformer have achieved remarkable results in natural language processing tasks. However, these models are often too complex and require extensive pre-training, which limits their effectiveness for small clinical text classification tasks with limited data. In this study, we propose a simplified Switch Transformer framework and train it from scratch on a small French clinical text classification dataset at CHU Sainte-Justine hospital. Our results demonstrate that the simplified small-scale Transformer models outperform pre-trained BERT-based models, including DistillBERT, CamemBERT, FlauBERT, and FrALBERT. Additionally, using a mixture of expert mechanisms from the Switch Transformer helps capture diverse patterns; hence, the proposed approach achieves better results than a conventional Transformer with the self-attention mechanism. Finally, our proposed framework achieves an accuracy of 87\%, precision at 87\%, and recall at 85\%, compared to the third-best pre-trained BERT-based model, FlauBERT, which achieved an accuracy of 84\%, precision at 84\%, and recall at 84\%. However, Switch Transformers have limitations, including a generalization gap and sharp minima. We compare it with a multi-layer perceptron neural network for small French clinical narratives classification and show that the latter outperforms all other models.
Abstract（参考訳）: 近年、switch transformerのようなトランスフォーマは自然言語処理タスクにおいて顕著な成果を上げている。しかし、これらのモデルは複雑すぎることが多く、広範囲な事前訓練が必要であり、限られたデータを持つ小さな臨床テキスト分類タスクの有効性を制限している。そこで本研究では,簡単なスイッチトランスフォーマフレームワークを提案し,チュサント=ジャスティヌ病院の小規模臨床テキスト分類データセット上でスクラッチから学習する。以上の結果から,DistillBERT,CamemBERT,FrauBERT,FrALBERTなど,既存のBERTモデルよりも高速な小型トランスフォーマーモデルが得られた。さらに,Switch Transformerからの専門家機構を混合することにより,多様なパターンを抽出し,自己認識機構を持つ従来のTransformerよりも優れた結果が得られる。最後に,提案手法は,精度が 87\%,精度が 87\%,リコールが 85\% と,精度が 84\%,精度が 84\%,リコールが 84\% であった bert-based model flaubert と比較して精度が 87\%,精度が 87\%,リコールが 85\% であった。しかし、スイッチトランスフォーマーには一般化ギャップやシャープミニマなど制限がある。フランスの小規模臨床ナラティブ分類のための多層パーセプトロンニューラルネットワークと比較し,後者が他のモデルよりも優れていることを示す。

関連論文リスト

The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [4.72457683445805]
臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
論文参考訳（メタデータ） (2024-07-27T16:48:03Z)
Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文参考訳（メタデータ） (2024-03-12T18:12:02Z)
Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文参考訳（メタデータ） (2023-02-09T16:07:31Z)
Exploring the Value of Pre-trained Language Models for Clinical Named Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文参考訳（メタデータ） (2022-10-23T16:27:31Z)
Learning structures of the French clinical language:development and validation of word embedding models using 21 million clinical reports from electronic health records [2.5709272341038027]
事前訓練された言語モデルを用いた伝達学習に基づく手法は、ほとんどのNLPアプリケーションで最先端の結果を得た。本研究の目的は,下流医療NLP課題に対する言語モデルの適用が臨床報告に及ぼす影響を評価することである。
論文参考訳（メタデータ） (2022-07-26T14:46:34Z)
MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文参考訳（メタデータ） (2022-04-15T23:19:37Z)
A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data [0.0]
i2b2/UTHealth 2014 臨床テキスト識別チャレンジコーパスには N=1304 臨床ノートが含まれている。我々は、BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base、ALBERT-xxlargeなど、いくつかのトランスフォーマーモデルアーキテクチャをコーパス上に微調整する。モデルの性能を,精度,精度(正の予測値),リコール(感度),F1スコアで評価する。
論文参考訳（メタデータ） (2022-03-25T19:42:03Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)
Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文参考訳（メタデータ） (2021-04-20T00:09:37Z)
Does BERT Pretrained on Clinical Notes Reveal Sensitive Data? [70.3631443249802]
我々は、トレーニングされたBERTからPersonal Health Informationを復元するためのアプローチのバッテリーを設計する。具体的には,患者の名前と関連した状態の回復を試みている。簡単な探索法では,MIMIC-IIIコーパス上で訓練されたBERTから機密情報を有意に抽出できないことがわかった。
論文参考訳（メタデータ） (2021-04-15T20:40:05Z)
TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。 GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
論文参考訳（メタデータ） (2020-09-27T10:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。