Fugu-MT 論文翻訳(概要): Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study

論文の概要: Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study

arxiv url: http://arxiv.org/abs/2103.06511v1
Date: Thu, 11 Mar 2021 07:23:45 GMT
ステータス: 処理完了
システム内更新日: 2021-03-13 05:21:54.886334
Title: Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study
Title（参考訳）: BERTのマジックは医療コード割り当てに適用されるか? 定量的研究
Authors: Shaoxiong Ji and Matti H\"oltt\"a and Pekka Marttinen
Abstract要約: 事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
参考スコア（独自算出の注目度）: 2.871614744079523
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Unsupervised pretraining is an integral part of many natural language processing systems, and transfer learning with language models has achieved remarkable results in many downstream tasks. In the clinical application of medical code assignment, diagnosis and procedure codes are inferred from lengthy clinical notes such as hospital discharge summaries. However, it is not clear if pretrained models are useful for medical code prediction without further architecture engineering. This paper conducts a comprehensive quantitative analysis of various contextualized language models' performance, pretrained in different domains, for medical code assignment from clinical notes. We propose a hierarchical fine-tuning architecture to capture interactions between distant words and adopt label-wise attention to exploit label information. Contrary to current trends, we demonstrate that a carefully trained classical CNN outperforms attention-based models on a MIMIC-III subset with frequent codes. Our empirical findings suggest directions for improving the medical code assignment application.
Abstract（参考訳）: 教師なし事前学習は、多くの自然言語処理システムにおいて不可欠な部分であり、言語モデルによる転送学習は多くの下流タスクで顕著な成果を上げている。医療コード割り当ての臨床応用において、診断および手順コードは、病院の退院要約などの長い臨床ノートから推測される。しかし、事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。本稿では,臨床ノートからの医療用コード代入のために,各ドメインで事前訓練された各種文脈言語モデルの性能を包括的に定量的に分析する。本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。以上の結果から,医療用コード割当てアプリケーションの改善の方向性が示唆された。

関連論文リスト

Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
論文参考訳（メタデータ） (2024-04-27T05:03:42Z)
Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文参考訳（メタデータ） (2023-04-21T11:54:44Z)
Assessing mortality prediction through different representation models based on concepts extracted from clinical notes [2.707154152696381]
埋め込みの学習は、音符をそれに匹敵する形式に変換する方法である。トランスフォーマーベースの表現モデルは、最近大きな飛躍を遂げた。病院死亡予測の課題において,学習した埋め込みベクターの有用性を評価する実験を行った。
論文参考訳（メタデータ） (2022-07-22T04:34:33Z)
Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文参考訳（メタデータ） (2021-08-02T10:42:52Z)
CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文参考訳（メタデータ） (2021-06-15T12:25:30Z)
A Meta-embedding-based Ensemble Approach for ICD Coding Prediction [64.42386426730695]
国際疾病分類 (icd) は、世界中で臨床コーディングに使われているデファクトコードである。これらのコードにより、医療提供者は償還を請求し、診断情報の効率的な保管と検索を容易にします。提案手法は,日常的な医学データと科学論文の外部知識を用いて,効果的に単語ベクトルを訓練することにより,神経モデルの性能を高める。
論文参考訳（メタデータ） (2021-02-26T17:49:58Z)
An Explainable CNN Approach for Medical Codes Prediction from Clinical Text [1.7746314978241657]
我々は集中治療室(ICU)における臨床テキストに基づくCNNベースの自動ICD符号化法を開発した。私たちは、私たちのモデルが各ラベルの局所的および低レベルの機能を学ぶことを可能にするShallow and Wide Attention Convolutional Mechanism(SWAM)を思いつきました。
論文参考訳（メタデータ） (2021-01-14T02:05:34Z)
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation [4.4036730220831535]
自動化医療符号化のためのディープラーニングに関する最近の研究は、有望なパフォーマンスを実現した。本稿では,各ラベルに関連する単語や文の重要度(注意重みなど)を定量化し,モデルを解釈することを目的とした階層的ラベル・ワイド・アテンション・ネットワーク(HLAN)を提案する。第2に,ラベル埋め込み(LE)初期化アプローチによる大規模深層学習モデルの拡張を提案する。これは,高密度かつ連続的なベクトル表現を学習し,その表現をモデル内の最終層とラベルの注意層に注入する。
論文参考訳（メタデータ） (2020-10-29T16:21:26Z)
Medical Code Assignment with Gated Convolution and Note-Code Interaction [39.079615516043674]
本稿では,医療コードの自動割り当てのための新しい手法,ゲート畳み込みニューラルネットワーク,ノートコードインタラクション(GatedCNN-NCI)を提案する。新たなノート-コードインタラクション設計とグラフメッセージパッシング機構により、ノートとコード間の基盤となる依存関係を明示的にキャプチャする。提案モデルはほとんどの場合,最先端モデルよりも優れており,モデルサイズは軽量ベースラインと同程度である。
論文参考訳（メタデータ） (2020-10-14T11:37:24Z)
Dilated Convolutional Attention Network for Medical Code Assignment from Clinical Text [19.701824507057623]
本稿では,拡張畳み込み,残差接続,ラベルアテンションを統合した拡張畳み込み注意ネットワーク(DCAN)を提案する。拡張畳み込み(Dilated convolutions)を用いて、拡張サイズとともに指数関数的に増加する受容野で複雑な医療パターンをキャプチャする。
論文参考訳（メタデータ） (2020-09-30T11:55:58Z)
BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文参考訳（メタデータ） (2020-09-24T00:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。