論文の概要: On Preserving the Knowledge of Long Clinical Texts
- arxiv url: http://arxiv.org/abs/2311.01571v2
- Date: Wed, 01 Jan 2025 01:00:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-03 14:35:21.733627
- Title: On Preserving the Knowledge of Long Clinical Texts
- Title（参考訳）: 長期臨床テキストの知識保存について
- Authors: Mohammad Junayed Hasan, Suhra Noor, Mohammad Ashrafuzzaman Khan,
- Abstract要約: 臨床テキストの処理にトランスフォーマーエンコーダを使用する際のボトルネックは、これらのモデルの入力長制限から生じる。
本稿ではトランスフォーマーエンコーダの集合アンサンブルを用いたモデルにおける長期臨床テキストの知識を保存するための新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Clinical texts, such as admission notes, discharge summaries, and progress notes, contain rich and valuable information that can be used for clinical decision making. However, a severe bottleneck in using transformer encoders for processing clinical texts comes from the input length limit of these models: transformer-based encoders use fixed-length inputs. Therefore, these models discard part of the inputs while processing medical text. There is a risk of losing vital knowledge from clinical text if only part of it is processed. This paper proposes a novel method to preserve the knowledge of long clinical texts in the models using aggregated ensembles of transformer encoders. Previous studies used either ensemble or aggregation, but we studied the effects of fusing these methods. We trained several pre-trained BERT-like transformer encoders on two clinical outcome tasks: mortality prediction and length of stay prediction. Our method achieved better results than all baseline models for prediction tasks on long clinical notes. We conducted extensive experiments on the MIMIC-III clinical database's admission notes by combining multiple unstructured and high-dimensional datasets, demonstrating our method's effectiveness and superiority over existing approaches. This study shows that fusing ensemble and aggregation improves the model performance for clinical prediction tasks, particularly the mortality and the length of hospital stay.
- Abstract（参考訳）: 入院ノート、退院サマリー、進歩ノートなどの臨床テキストには、臨床意思決定に使える豊富で価値のある情報が含まれている。
しかし、臨床テキストの処理にトランスフォーマーエンコーダを使用する際の重大なボトルネックは、これらのモデルの入力長制限である: トランスフォーマーベースのエンコーダは固定長入力を使用する。
したがって、これらのモデルは医療用テキスト処理中に入力の一部を破棄する。
臨床テキストから重要な知識が失われるリスクは、その一部しか処理されない場合である。
本稿ではトランスフォーマーエンコーダの集合アンサンブルを用いたモデルにおける長期臨床テキストの知識を保存するための新しい手法を提案する。
従来の研究では、アンサンブルやアグリゲーションが用いられていたが、これらの手法を融合させる効果について検討した。
臨床結果:死亡予測と滞在期間予測の2つの課題について,事前学習したBERT様トランスフォーマーエンコーダを訓練した。
本手法は,長期臨床ノートの予測タスクにおいて,すべてのベースラインモデルよりも優れた結果を得た。
本研究は,MIMIC-III 臨床データベースにおいて,複数の非構造化データセットと高次元データセットを組み合わせ,既存のアプローチよりも有効性と優越性を実証し,広範な実験を行った。
本研究は, アンサンブルとアグリゲーションの融合により, 臨床予測タスクのモデル性能, 特に病院滞在の死亡率, 期間が向上することが示唆された。
関連論文リスト
- Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。
Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。
臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
論文 参考訳（メタデータ） (2024-09-23T00:35:23Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳（メタデータ） (2023-12-29T14:28:04Z) - Making the Most Out of the Limited Context Length: Predictive Power
Varies with Clinical Note Type and Note Section [70.37720062263176]
本研究では,高い予測力で区間を解析する枠組みを提案する。
MIMIC-IIIを用いて,(1)看護用音符と退院用音符とでは予測電力分布が異なること,(2)文脈長が大きい場合の音符の組み合わせにより性能が向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-13T20:04:05Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳（メタデータ） (2023-04-21T11:54:44Z) - Modelling Temporal Document Sequences for Clinical ICD Coding [9.906895077843663]
本稿では,ICD符号化のための病院留置所における臨床ノートの全列にテキストを用いた階層型トランスフォーマーアーキテクチャを提案する。
すべての臨床ノートを使用すると、データ量が大幅に増加するが、超収束はトレーニングコストの削減に利用することができる。
本モデルでは, 放電サマリーのみを入力として使用する場合の先行技術を超え, 全臨床ノートを入力として使用する場合のさらなる性能向上を実現している。
論文 参考訳（メタデータ） (2023-02-24T14:41:48Z) - A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。
名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
論文 参考訳（メタデータ） (2023-01-27T16:50:29Z) - A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data
for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。
そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。
また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文 参考訳（メタデータ） (2022-08-09T03:49:52Z) - Assessing mortality prediction through different representation models
based on concepts extracted from clinical notes [2.707154152696381]
埋め込みの学習は、音符をそれに匹敵する形式に変換する方法である。
トランスフォーマーベースの表現モデルは、最近大きな飛躍を遂げた。
病院死亡予測の課題において,学習した埋め込みベクターの有用性を評価する実験を行った。
論文 参考訳（メタデータ） (2022-07-22T04:34:33Z) - Unsupervised pre-training of graph transformers on patient population
graphs [48.02011627390706]
異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。
自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
論文 参考訳（メタデータ） (2022-07-21T16:59:09Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z) - An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。
最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。
本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文 参考訳（メタデータ） (2020-11-12T17:14:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。