論文の概要: NoteContrast: Contrastive Language-Diagnostic Pretraining for Medical Text
- arxiv url: http://arxiv.org/abs/2412.11477v1
- Date: Mon, 16 Dec 2024 06:44:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 14:01:10.004276
- Title: NoteContrast: Contrastive Language-Diagnostic Pretraining for Medical Text
- Title（参考訳）: ノートコントラスト:医学用テキストにおけるコントラスト言語-診断予習
- Authors: Prajwal Kailas, Max Homilius, Rahul C. Deo, Calum A. MacRae,
- Abstract要約: i) ICD-10 診断符号列の大規模実世界データセットを用いたモデル,(i) 医療用メモ用大言語モデル,(iii) ICD-10 診断符号と対応する医療用テキストの統合モデルを構築するための対照的な事前学習モデルを開発する。
本研究は,MIMIC-III-50,MIMIC-III-rare50,MIMIC-III-fullの診断コーディングタスクにおいて,先行訓練に対する対照的なアプローチにより,先行訓練の性能が向上することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Accurate diagnostic coding of medical notes is crucial for enhancing patient care, medical research, and error-free billing in healthcare organizations. Manual coding is a time-consuming task for providers, and diagnostic codes often exhibit low sensitivity and specificity, whereas the free text in medical notes can be a more precise description of a patients status. Thus, accurate automated diagnostic coding of medical notes has become critical for a learning healthcare system. Recent developments in long-document transformer architectures have enabled attention-based deep-learning models to adjudicate medical notes. In addition, contrastive loss functions have been used to jointly pre-train large language and image models with noisy labels. To further improve the automated adjudication of medical notes, we developed an approach based on i) models for ICD-10 diagnostic code sequences using a large real-world data set, ii) large language models for medical notes, and iii) contrastive pre-training to build an integrated model of both ICD-10 diagnostic codes and corresponding medical text. We demonstrate that a contrastive approach for pre-training improves performance over prior state-of-the-art models for the MIMIC-III-50, MIMIC-III-rare50, and MIMIC-III-full diagnostic coding tasks.
- Abstract（参考訳）: 医療機関における医療記録の正確な診断コーディングは、患者医療、医療研究、エラーのない請求の促進に不可欠である。
手動コーディングは提供者にとって時間を要するタスクであり、診断コードはしばしば感度と特異度が低い。
このように、医療ノートの正確な自動診断コーディングは、学習医療システムにとって重要なものとなっている。
近年の長文書トランスフォーマーアーキテクチャの発展により,注目に基づく深層学習モデルによる医療ノートの調整が可能となった。
さらに、大きな言語と画像モデルをノイズラベルで事前訓練するために、コントラッシブ・ロス関数が使われている。
医療用ノートの自動表記を改善するために,我々はそのアプローチを考案した。
一 大規模な実世界のデータセットを用いたICD-10診断符号列のモデル
二 医療用音符の大型言語モデル及び
三 ICD-10診断コード及び対応する医療用テキストの統合モデルを構築するための対照的な事前訓練
本研究は,MIMIC-III-50,MIMIC-III-rare50,MIMIC-III-fullの診断コーディングタスクにおいて,先行訓練に対する対照的なアプローチにより,先行訓練の性能が向上することを示す。
関連論文リスト
- MedCodER: A Generative AI Assistant for Medical Coding [3.7153274758003967]
我々は、自動医療コーディングのためのジェネレーティブAIフレームワークであるMedCodERを紹介する。
MedCodERは、ICD(International Classification of Diseases)コード予測において、マイクロF1スコアの0.60を達成している。
疾患診断,ICD符号,エビデンステキストを付加した医療記録を含む新しいデータセットを提案する。
論文 参考訳（メタデータ） (2024-09-18T19:36:33Z) - A Data-Driven Guided Decoding Mechanism for Diagnostic Captioning [11.817595076396925]
診断用キャプション(DC)は、患者の1つ以上の医療画像から診断用テキストを自動的に生成する。
本稿では,診断テキスト生成プロセスのビームサーチに医療情報を組み込んだデータ駆動型ガイドデコーディング手法を提案する。
提案手法は,CNNエンコーダを用いた汎用画像-テキストシステムから,事前学習された大規模言語モデルまで,4つのDCシステムを用いて2つの医療データセット上で評価する。
論文 参考訳（メタデータ） (2024-06-20T10:08:17Z) - CoRelation: Boosting Automatic ICD Coding Through Contextualized Code
Relation Learning [56.782963838838036]
我々は,ICDコード表現の学習を促進するために,文脈的かつ柔軟なフレームワークである新しい手法を提案する。
提案手法では,可能なすべてのコード関係をモデル化する際の臨床ノートのコンテキストを考慮した,依存型学習パラダイムを採用している。
論文 参考訳（メタデータ） (2024-02-24T03:25:28Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳（メタデータ） (2023-04-21T11:54:44Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳（メタデータ） (2021-07-20T07:04:52Z) - Read, Attend, and Code: Pushing the Limits of Medical Codes Prediction
from Clinical Notes by Machines [0.42641920138420947]
医用コード代入マッピングを学習するための、読み取り、 attend、および Code (RAC) モデルを提示する。
RACは、現在最高のマクロF1を18.7%上回るSOTA(the New State of the Art)を確立している。
この新たなマイルストーンは、マシンにおける完全自律型医療コーディング(AMC)への重要な一歩となる。
論文 参考訳（メタデータ） (2021-07-10T06:01:58Z) - Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative
Study [2.871614744079523]
事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。
本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。
現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
論文 参考訳（メタデータ） (2021-03-11T07:23:45Z) - Explainable Automated Coding of Clinical Notes using Hierarchical
Label-wise Attention Networks and Label Embedding Initialisation [4.4036730220831535]
自動化医療符号化のためのディープラーニングに関する最近の研究は、有望なパフォーマンスを実現した。
本稿では,各ラベルに関連する単語や文の重要度(注意重みなど)を定量化し,モデルを解釈することを目的とした階層的ラベル・ワイド・アテンション・ネットワーク(HLAN)を提案する。
第2に,ラベル埋め込み(LE)初期化アプローチによる大規模深層学習モデルの拡張を提案する。これは,高密度かつ連続的なベクトル表現を学習し,その表現をモデル内の最終層とラベルの注意層に注入する。
論文 参考訳（メタデータ） (2020-10-29T16:21:26Z) - MedDG: An Entity-Centric Medical Consultation Dataset for Entity-Aware
Medical Dialogue Generation [86.38736781043109]
MedDGという12種類の消化器疾患に関連する大規模医用対話データセットを構築し,公開する。
MedDGデータセットに基づく2種類の医療対話タスクを提案する。1つは次のエンティティ予測であり、もう1つは医師の反応生成である。
実験結果から,プレトレイン言語モデルと他のベースラインは,両方のタスクに苦戦し,データセットの性能が劣ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T03:34:33Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳（メタデータ） (2020-09-24T00:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。