論文の概要: Automated ICD Coding using Extreme Multi-label Long Text Transformer-based Models

• arxiv url: http://arxiv.org/abs/2212.05857v1
• Date: Mon, 12 Dec 2022 12:48:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 16:10:37.068286
• Title: Automated ICD Coding using Extreme Multi-label Long Text Transformer-based Models
• Title（参考訳）: 極多ラベル長文変換器モデルを用いたICDの自動符号化
• Authors: Leibo Liu, Oscar Perez-Concha, Anthony Nguyen, Vicki Bennett, Louisa Jorm
• Abstract要約: 本稿では,3種類のトランスフォーマーモデルについて検討し,極端なラベルセットと長いテキスト分類課題に対処することを目的とした。 Transformer-based model PLM-ICDは、ICD符号化ベンチマークデータセットMIMIC-III上で、現在のSOTA(State-of-the-art)性能を達成した。 我々の最適化されたPLM-ICDモデルは、長い総数およびチャンクシーケンス長で訓練され、現在のSOTA PLM-ICDモデルよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 10.387366211090734
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background: Encouraged by the success of pretrained Transformer models in many natural language processing tasks, their use for International Classification of Diseases (ICD) coding tasks is now actively being explored. In this study, we investigate three types of Transformer-based models, aiming to address the extreme label set and long text classification challenges that are posed by automated ICD coding tasks. Methods: The Transformer-based model PLM-ICD achieved the current state-of-the-art (SOTA) performance on the ICD coding benchmark dataset MIMIC-III. It was chosen as our baseline model to be further optimised. XR-Transformer, the new SOTA model in the general extreme multi-label text classification domain, and XR-LAT, a novel adaptation of the XR-Transformer model, were also trained on the MIMIC-III dataset. XR-LAT is a recursively trained model chain on a predefined hierarchical code tree with label-wise attention, knowledge transferring and dynamic negative sampling mechanisms. Results: Our optimised PLM-ICD model, which was trained with longer total and chunk sequence lengths, significantly outperformed the current SOTA PLM-ICD model, and achieved the highest micro-F1 score of 60.8%. The XR-Transformer model, although SOTA in the general domain, did not perform well across all metrics. The best XR-LAT based model obtained results that were competitive with the current SOTA PLM-ICD model, including improving the macro-AUC by 2.1%. Conclusion: Our optimised PLM-ICD model is the new SOTA model for automated ICD coding on the MIMIC-III dataset, while our novel XR-LAT model performs competitively with the previous SOTA PLM-ICD model.
• Abstract（参考訳）: 背景:多くの自然言語処理タスクで事前訓練されたトランスフォーマーモデルの成功により、国際疾病分類(icd)コーディングタスクへの使用が積極的に検討されている。 本研究では,3種類のトランスフォーマーモデルについて検討し,自動ICD符号化タスクによって生じる極端なラベルセットと長いテキスト分類課題に対処することを目的とした。 方法: Transformer-based model PLM-ICDは、ICD符号化ベンチマークデータセットMIMIC-III上で、現在の最先端(SOTA)性能を達成した。 さらに最適化するために、ベースラインモデルに選ばれました。 また,XR-Transformerモデルの新たな適応であるXR-LATをMIMIC-IIIデータセット上でトレーニングした。 XR-LATは、ラベルに関する注意、知識伝達、動的負のサンプリング機構を備えた、事前定義された階層コードツリー上の再帰的に訓練されたモデルチェーンである。 結果: より長い総数およびチャンクシーケンス長で訓練したPLM-ICDモデルは, 現行のSOTA PLM-ICDモデルより有意に優れ, マイクロF1スコアは60.8%であった。 XR-Transformerモデルは、一般的なドメインではSOTAだが、すべてのメトリクスでうまく機能しなかった。 XR-LATベースの最良のモデルでは、現在のSOTA PLM-ICDモデルと競合する結果が得られ、マクロAUCは2.1%向上した。 結論:我々の最適化PLM-ICDモデルはMIMIC-IIIデータセット上でのICDの自動符号化のための新しいSOTAモデルであり,新しいXR-LATモデルは以前のSOTA PLM-ICDモデルと競合する。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Improving ICD coding using Chapter based Named Entities and Attentional Models [0.0]
  我々は、章ベースの名前付きエンティティと注意モデルを用いて、F1スコアを改善するICD符号化の強化アプローチを導入する。 本手法は, 放電サマリーをICD-9章に分類し, 章別データを用いた注意モデルを開発する。 分類には第IV章を使用し、ニューラルネットワークを使わずに重要な要素や重みをデバイアスし、影響を及ぼす。
  論文  参考訳（メタデータ） (2024-07-24T12:34:23Z)
• SOEN-101: Code Generation by Emulating Software Process Models Using Large Language Model Agents [50.82665351100067]
  FlowGenは、複数のLarge Language Model (LLM)エージェントに基づいたソフトウェアプロセスモデルをエミュレートするコード生成フレームワークである。 FlowGenScrumをHumanEval、HumanEval-ET、MBPP、MBPP-ETの4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-03-23T14:04:48Z)
• A Transformer-based Framework For Multi-variate Time Series: A Remaining Useful Life Prediction Use Case [4.0466311968093365]
  本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。 C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。 機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
  論文  参考訳（メタデータ） (2023-08-19T02:30:35Z)
• SGEM: Test-Time Adaptation for Automatic Speech Recognition via Sequential-Level Generalized Entropy Minimization [30.61075178799518]
  テスト時間適応(TTA)法は、ソースデータなしで未ラベルのテストインスタンスに事前学習されたASRモデルを適用するために最近提案されている。 我々は、一般的なASRモデルに対して、SGEMと呼ばれる新しいTTAフレームワークを提案する。 SGEMは、ドメインシフトの異なる3つのメインストリームASRモデルの最先端性能を達成する。
  論文  参考訳（メタデータ） (2023-06-03T02:27:08Z)
• CodeRL: Mastering Code Generation through Pretrained Models and Deep Reinforcement Learning [92.36705236706678]
  CodeRLは、事前訓練されたLMと深層強化学習によるプログラム合成タスクのための新しいフレームワークである。 推論中、我々は重要なサンプリング戦略を持つ新しい生成手順を導入する。 モデルバックボーンについては,CodeT5のエンコーダデコーダアーキテクチャを拡張し,学習目標を拡張した。
  論文  参考訳（メタデータ） (2022-07-05T02:42:15Z)
• Variational Autoencoder Assisted Neural Network Likelihood RSRP Prediction Model [2.881201648416745]
  MDTデータとデジタルツイン(DT)を利用したRSRP予測のための生成モデルについて検討する。 実世界のデータを用いた提案モデルでは,実証モデルと比較して約20%以上の精度向上が示されている。
  論文  参考訳（メタデータ） (2022-06-27T17:27:35Z)
• Momentum Pseudo-Labeling for Semi-Supervised Speech Recognition [55.362258027878966]
  本稿では,半教師付き音声認識のための簡易かつ効果的な手法として,モーメント擬似ラベル(MPL)を提案する。 MPLは、平均的な教師メソッドにインスパイアされて、相互に相互作用し、学習するオンラインとオフラインの2つのモデルで構成されている。 実験の結果,MPLはベースモデルよりも効果的に改善され,様々な半教師付きシナリオに拡張可能であることが示された。
  論文  参考訳（メタデータ） (2021-06-16T16:24:55Z)
• Score-based Generative Modeling in Latent Space [93.8985523558869]
  スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。 本稿では,Latent Score-based Generative Model (LSGM)を提案する。 データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
  論文  参考訳（メタデータ） (2021-06-10T17:26:35Z)
• Improving Transformer-Kernel Ranking Model Using Conformer and Query Term Independence [29.442579683405913]
  Transformer-Kernel(TK)モデルは、TREC Deep Learningベンチマークで強力なリランクパフォーマンスを示しています。 TKLと呼ばれるTKモデルの変種が開発され、より長い入力シーケンスを効率的に処理するためにローカルの自己意識が組み込まれている。 本稿では,より長い入力列にtkをスケールするための代替手法として,新しい適合層を提案する。
  論文  参考訳（メタデータ） (2021-04-19T15:32:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。