論文の概要: PLM-ICD: Automatic ICD Coding with Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2207.05289v1
• Date: Tue, 12 Jul 2022 03:56:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 01:42:10.351060
• Title: PLM-ICD: Automatic ICD Coding with Pretrained Language Models
• Title（参考訳）: PLM-ICD:事前学習言語モデルを用いた自動ICD符号化
• Authors: Chao-Wei Huang, Shang-Chi Tsai, Yun-Nung Chen
• Abstract要約: 本稿では,事前学習言語モデルを用いた自動ICD符号化のためのフレームワークを開発する。 主な課題は、1)大きなラベル空間、2)長い入力シーケンス、3)事前学習と微調整のドメインミスマッチである。 提案するフレームワークは,MIMICのベンチマークデータにおける複数の指標を用いて,その課題を克服し,最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 35.161696760157824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatically classifying electronic health records (EHRs) into diagnostic codes has been challenging to the NLP community. State-of-the-art methods treated this problem as a multilabel classification problem and proposed various architectures to model this problem. However, these systems did not leverage the superb performance of pretrained language models, which achieved superb performance on natural language understanding tasks. Prior work has shown that pretrained language models underperformed on this task with the regular finetuning scheme. Therefore, this paper aims at analyzing the causes of the underperformance and developing a framework for automatic ICD coding with pretrained language models. We spotted three main issues through the experiments: 1) large label space, 2) long input sequences, and 3) domain mismatch between pretraining and fine-tuning. We propose PLMICD, a framework that tackles the challenges with various strategies. The experimental results show that our proposed framework can overcome the challenges and achieves state-of-the-art performance in terms of multiple metrics on the benchmark MIMIC data. The source code is available at https://github.com/MiuLab/PLM-ICD
• Abstract（参考訳）: 電子健康記録(EHR)を診断コードに自動分類することは、NLPコミュニティにとって困難である。 最先端手法はこの問題をマルチラベル分類問題として扱い、この問題をモデル化するための様々なアーキテクチャを提案した。 しかし、これらのシステムは、自然言語理解タスクにおいて最高性能を達成した事前学習言語モデルの最高性能を生かしていない。 事前の作業では、事前学習された言語モデルは、通常の微調整スキームでこのタスクに過小評価されていることが示されている。 そこで本研究では,性能低下の原因を分析し,事前学習言語モデルを用いた自動ICD符号化のためのフレームワークを開発することを目的とする。 実験で3つの主な問題を発見しました 1)大きなラベルスペース、 2)長い入力シーケンス、および 3)事前訓練と微調整のドメインミスマッチ。 様々な戦略で課題に取り組むためのフレームワークであるPLMICDを提案する。 実験結果は,提案フレームワークが課題を克服し,ベンチマーク・ミイト・データにおける複数のメトリクスを用いて最先端のパフォーマンスを実現することを示す。 ソースコードはhttps://github.com/MiuLab/PLM-ICDで入手できる。

関連論文リスト

• Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation [105.23631749213729]
  低データ体制における教師なし事前学習のための新しい手法を提案する。 最近成功したプロンプト技術に触発されて,言語ビジョンプロンプトを用いた教師なし事前学習法を導入した。 提案手法は,低データ方式のCNNモデルよりも高速に収束し,性能がよいことを示す。
  論文  参考訳（メタデータ） (2024-05-22T06:48:43Z)
• Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
  FLEURSは102言語によるオープンASRベンチマークである。 我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。 コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
  論文  参考訳（メタデータ） (2023-02-24T18:59:51Z)
• Rationale-Guided Few-Shot Classification to Detect Abusive Language [5.977278650516324]
  乱用言語検出のためのRGFS(Rationale-Guided Few-Shot Classification)を提案する。 2つの理性統合BERTアーキテクチャ(RGFSモデル)を導入し、5つの異なる乱用言語データセット上でシステムを評価する。
  論文  参考訳（メタデータ） (2022-11-30T14:47:14Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Prompt Tuning for Discriminative Pre-trained Language Models [96.04765512463415]
  最近の研究は、自然言語処理(NLP)タスクに事前訓練言語モデル(PLM)を刺激する際の迅速なチューニングの有望な結果を示している。 ELECTRAのような差別的なPLMが、いかに効果的に迅速なチューニングが可能かは、まだ不明である。 DPTは,NLPタスクを識別言語モデリング問題に書き換える,識別型PLMの最初のプロンプトチューニングフレームワークである。
  論文  参考訳（メタデータ） (2022-05-23T10:11:50Z)
• Switch Point biased Self-Training: Re-purposing Pretrained Models for Code-Switching [44.034300203700234]
  コードスイッチングは、多言語コミュニティにおけるコミュニケーションの容易さから、ユビキタスな現象である。 スイッチポイントバイアスを用いて既存の事前学習モデルを再利用するための自己学習手法を提案する。 本手法は,スイッチポイント性能のギャップを小さくすることで,両タスクにおいて良好に機能する。
  論文  参考訳（メタデータ） (2021-11-01T19:42:08Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Language Models are Few-Shot Learners [61.36677350504291]
  言語モデルのスケールアップにより、タスクに依存しない、少数ショットのパフォーマンスが大幅に向上することを示す。 我々は、1750億のパラメータを持つ自動回帰言語モデルであるGPT-3を訓練し、その性能を数ショットでテストする。 GPT-3は、翻訳、質問応答、クローズタスクを含む多くのNLPデータセットで高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-05-28T17:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。