論文の概要: Improving Transformer Performance for French Clinical Notes Classification Using Mixture of Experts on a Limited Dataset
- arxiv url: http://arxiv.org/abs/2303.12892v2
- Date: Sat, 25 May 2024 14:54:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 12:47:48.140091
- Title: Improving Transformer Performance for French Clinical Notes Classification Using Mixture of Experts on a Limited Dataset
- Title（参考訳）: 限られたデータセット上でのエキスパートの混合を用いたフランス語臨床ノート分類における変圧器の性能向上
- Authors: Thanh-Dung Le, Philippe Jouvet, Rita Noumeir,
- Abstract要約: トランスフォーマーベースのモデルは、自然言語処理において顕著な結果を示しているが、小規模臨床テキストの分類のような応用では課題に直面している。
本研究は,CHU Sainte-Justine病院における小規模臨床テキストの分類のための,Mixture of Expert (MoE) Transformerモデルを提案する。
- 参考スコア（独自算出の注目度）: 0.08192907805418582
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Transformer-based models have shown outstanding results in natural language processing but face challenges in applications like classifying small-scale clinical texts, especially with constrained computational resources. This study presents a customized Mixture of Expert (MoE) Transformer models for classifying small-scale French clinical texts at CHU Sainte-Justine Hospital. The MoE-Transformer addresses the dual challenges of effective training with limited data and low-resource computation suitable for in-house hospital use. Despite the success of biomedical pre-trained models such as CamemBERT-bio, DrBERT, and AliBERT, their high computational demands make them impractical for many clinical settings. Our MoE-Transformer model not only outperforms DistillBERT, CamemBERT, FlauBERT, and Transformer models on the same dataset but also achieves impressive results: an accuracy of 87\%, precision of 87\%, recall of 85\%, and F1-score of 86\%. While the MoE-Transformer does not surpass the performance of biomedical pre-trained BERT models, it can be trained at least 190 times faster, offering a viable alternative for settings with limited data and computational resources. Although the MoE-Transformer addresses challenges of generalization gaps and sharp minima, demonstrating some limitations for efficient and accurate clinical text classification, this model still represents a significant advancement in the field. It is particularly valuable for classifying small French clinical narratives within the privacy and constraints of hospital-based computational resources.
- Abstract（参考訳）: トランスフォーマーベースのモデルは自然言語処理において顕著な結果を示したが、小規模臨床テキストの分類、特に計算資源の制約など、応用上の課題に直面している。
本研究は,CHU Sainte-Justine病院における小規模臨床テキストの分類のための,Mixture of Expert (MoE) Transformerモデルを提案する。
MoE-Transformerは、限られたデータによる効果的なトレーニングと、社内病院での使用に適した低リソースの計算という2つの課題に対処する。
CamemBERT-bio(英語版)、DrBERT(英語版)、AliBERT(英語版)といった生物医学的な事前訓練モデルの成功にもかかわらず、高い計算要求により多くの臨床環境では実用的ではない。
我々のMoE-Transformerモデルは、同じデータセット上でDistillBERT、CamemBERT、FrauBERT、Transformerモデルを上回るだけでなく、87 %の精度、87 %の精度、85 %のリコール、86 %のF1-スコアといった印象的な結果も達成しています。
MoE-Transformerは、バイオメディカルな事前訓練されたBERTモデルの性能を上回りませんが、少なくとも190倍高速にトレーニングすることができ、限られたデータと計算資源を持つ設定の代替手段を提供することができます。
MoE-Transformerは、一般化ギャップと鋭い最小化の課題に対処し、効率的かつ正確な臨床テキスト分類のいくつかの限界を示すが、このモデルはこの分野において重要な進歩を示している。
病院ベースの計算資源のプライバシーと制約の中で、フランスの小さな臨床物語を分類するのに特に有用である。
関連論文リスト
- The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [4.72457683445805]
臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。
本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。
我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
論文 参考訳（メタデータ） (2024-07-27T16:48:03Z) - Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。
トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。
評価のために,GPT-4に基づく実測値CheXpromptを提案する。
LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳（メタデータ） (2024-03-12T18:12:02Z) - Lightweight Transformers for Clinical Natural Language Processing [9.532776962985828]
本研究は,臨床テキスト処理のためのコンパクト言語モデルの開発に焦点をあてる。
知識蒸留と連続学習を用いた多種多様な軽量臨床用変圧器を開発した。
評価はいくつかの標準データセットにまたがって行われ、幅広い臨床テキストマイニングタスクをカバーした。
論文 参考訳（メタデータ） (2023-02-09T16:07:31Z) - Exploring the Value of Pre-trained Language Models for Clinical Named
Entity Recognition [6.917786124918387]
我々は、スクラッチからトレーニングされたTransformerモデルと、細調整されたBERTベースのLLMを比較した。
文脈学習を促進するために,追加のCRF層がそのようなモデルに与える影響を検討する。
論文 参考訳（メタデータ） (2022-10-23T16:27:31Z) - Learning structures of the French clinical language:development and
validation of word embedding models using 21 million clinical reports from
electronic health records [2.5709272341038027]
事前訓練された言語モデルを用いた伝達学習に基づく手法は、ほとんどのNLPアプリケーションで最先端の結果を得た。
本研究の目的は,下流医療NLP課題に対する言語モデルの適用が臨床報告に及ぼす影響を評価することである。
論文 参考訳（メタデータ） (2022-07-26T14:46:34Z) - MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided
Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。
自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文 参考訳（メタデータ） (2022-04-15T23:19:37Z) - A Comparative Evaluation Of Transformer Models For De-Identification Of
Clinical Text Data [0.0]
i2b2/UTHealth 2014 臨床テキスト識別チャレンジコーパスには N=1304 臨床ノートが含まれている。
我々は、BERT-base、BERT-large、ROBERTA-base、ROBERTA-large、ALBERT-base、ALBERT-xxlargeなど、いくつかのトランスフォーマーモデルアーキテクチャをコーパス上に微調整する。
モデルの性能を,精度,精度(正の予測値),リコール(感度),F1スコアで評価する。
論文 参考訳（メタデータ） (2022-03-25T19:42:03Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z) - Efficient pre-training objectives for Transformers [84.64393460397471]
本研究はトランスフォーマーモデルにおける高効率事前学習目標について検討する。
マスクトークンの除去と損失時のアウトプット全体の考慮が,パフォーマンス向上に不可欠な選択であることを証明する。
論文 参考訳（メタデータ） (2021-04-20T00:09:37Z) - Does BERT Pretrained on Clinical Notes Reveal Sensitive Data? [70.3631443249802]
我々は、トレーニングされたBERTからPersonal Health Informationを復元するためのアプローチのバッテリーを設計する。
具体的には,患者の名前と関連した状態の回復を試みている。
簡単な探索法では,MIMIC-IIIコーパス上で訓練されたBERTから機密情報を有意に抽出できないことがわかった。
論文 参考訳（メタデータ） (2021-04-15T20:40:05Z) - TernaryBERT: Distillation-aware Ultra-low Bit BERT [53.06741585060951]
本稿では,細調整されたBERTモデルの重みを3元化するternaryBERTを提案する。
GLUEベンチマークとSQuADの実験により,提案した TernaryBERT が他のBERT量子化法より優れていることが示された。
論文 参考訳（メタデータ） (2020-09-27T10:17:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。