Fugu-MT 論文翻訳(概要): On Preserving the Knowledge of Long Clinical Texts

論文の概要: On Preserving the Knowledge of Long Clinical Texts

arxiv url: http://arxiv.org/abs/2311.01571v2
Date: Wed, 01 Jan 2025 01:00:57 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-03 22:24:07.652428
Title: On Preserving the Knowledge of Long Clinical Texts
Title（参考訳）: 長期臨床テキストの知識保存について
Authors: Mohammad Junayed Hasan, Suhra Noor, Mohammad Ashrafuzzaman Khan,
Abstract要約: 臨床テキストの処理にトランスフォーマーエンコーダを使用する際のボトルネックは、これらのモデルの入力長制限から生じる。本稿ではトランスフォーマーエンコーダの集合アンサンブルを用いたモデルにおける長期臨床テキストの知識を保存するための新しい手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Clinical texts, such as admission notes, discharge summaries, and progress notes, contain rich and valuable information that can be used for clinical decision making. However, a severe bottleneck in using transformer encoders for processing clinical texts comes from the input length limit of these models: transformer-based encoders use fixed-length inputs. Therefore, these models discard part of the inputs while processing medical text. There is a risk of losing vital knowledge from clinical text if only part of it is processed. This paper proposes a novel method to preserve the knowledge of long clinical texts in the models using aggregated ensembles of transformer encoders. Previous studies used either ensemble or aggregation, but we studied the effects of fusing these methods. We trained several pre-trained BERT-like transformer encoders on two clinical outcome tasks: mortality prediction and length of stay prediction. Our method achieved better results than all baseline models for prediction tasks on long clinical notes. We conducted extensive experiments on the MIMIC-III clinical database's admission notes by combining multiple unstructured and high-dimensional datasets, demonstrating our method's effectiveness and superiority over existing approaches. This study shows that fusing ensemble and aggregation improves the model performance for clinical prediction tasks, particularly the mortality and the length of hospital stay.
Abstract（参考訳）: 入院ノート、退院サマリー、進歩ノートなどの臨床テキストには、臨床意思決定に使える豊富で価値のある情報が含まれている。しかし、臨床テキストの処理にトランスフォーマーエンコーダを使用する際の重大なボトルネックは、これらのモデルの入力長制限である: トランスフォーマーベースのエンコーダは固定長入力を使用する。したがって、これらのモデルは医療用テキスト処理中に入力の一部を破棄する。臨床テキストから重要な知識が失われるリスクは、その一部しか処理されない場合である。本稿ではトランスフォーマーエンコーダの集合アンサンブルを用いたモデルにおける長期臨床テキストの知識を保存するための新しい手法を提案する。従来の研究では、アンサンブルやアグリゲーションが用いられていたが、これらの手法を融合させる効果について検討した。臨床結果:死亡予測と滞在期間予測の2つの課題について,事前学習したBERT様トランスフォーマーエンコーダを訓練した。本手法は,長期臨床ノートの予測タスクにおいて,すべてのベースラインモデルよりも優れた結果を得た。本研究は,MIMIC-III 臨床データベースにおいて,複数の非構造化データセットと高次元データセットを組み合わせ,既存のアプローチよりも有効性と優越性を実証し,広範な実験を行った。本研究は, アンサンブルとアグリゲーションの融合により, 臨床予測タスクのモデル性能, 特に病院滞在の死亡率, 期間が向上することが示唆された。

関連論文リスト

Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。 Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
論文参考訳（メタデータ） (2024-09-23T00:35:23Z)
MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
論文参考訳（メタデータ） (2024-08-14T18:57:05Z)
Multimodal Clinical Trial Outcome Prediction with Large Language Models [30.201189349890267]
臨床試験の結果を予測するために, LIFTED(Multimodal Mixed-of-Experts)アプローチを提案する。 LIFTEDは、異なるモダリティデータを自然言語記述に変換することで統一する。そして、LIFTEDは統合ノイズ耐性エンコーダを構築し、モーダル固有の言語記述から情報を抽出する。
論文参考訳（メタデータ） (2024-02-09T16:18:38Z)
XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文参考訳（メタデータ） (2023-12-29T14:28:04Z)
Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section [70.37720062263176]
本研究では,高い予測力で区間を解析する枠組みを提案する。 MIMIC-IIIを用いて,(1)看護用音符と退院用音符とでは予測電力分布が異なること,(2)文脈長が大きい場合の音符の組み合わせにより性能が向上することが示唆された。
論文参考訳（メタデータ） (2023-07-13T20:04:05Z)
ClinicalGPT: Large Language Models Finetuned with Diverse Medical Data and Comprehensive Evaluation [5.690250818139763]
大規模言語モデルは、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。これらの進歩にもかかわらず、実際の不正確さ、推論能力、現実世界の経験の基盤の欠如など、医学的応用におけるその効果は限られている。臨床シナリオに対して明示的に設計・最適化された言語モデルである臨床GPTを提案する。
論文参考訳（メタデータ） (2023-06-16T16:56:32Z)
Leveraging text data for causal inference using electronic health records [1.4182510510164876]
本稿では,電子健康データによる因果推論を支援するためにテキストデータを活用する統一的なフレームワークを提案する。従来のマッチング分析にテキストデータを組み込むことで、推定処理効果の妥当性を高めることができることを示す。これらの手法は、臨床データの二次解析範囲を、構造化ERHデータに制限された領域にまで広げる可能性があると考えている。
論文参考訳（メタデータ） (2023-06-09T16:06:02Z)
Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-08T09:12:28Z)
Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文参考訳（メタデータ） (2023-04-21T11:54:44Z)
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。臨床文献のコーパスを12種類に分類した。私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文参考訳（メタデータ） (2023-03-23T17:17:46Z)
Modelling Temporal Document Sequences for Clinical ICD Coding [9.906895077843663]
本稿では,ICD符号化のための病院留置所における臨床ノートの全列にテキストを用いた階層型トランスフォーマーアーキテクチャを提案する。すべての臨床ノートを使用すると、データ量が大幅に増加するが、超収束はトレーニングコストの削減に利用することができる。本モデルでは, 放電サマリーのみを入力として使用する場合の先行技術を超え, 全臨床ノートを入力として使用する場合のさらなる性能向上を実現している。
論文参考訳（メタデータ） (2023-02-24T14:41:48Z)
A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
論文参考訳（メタデータ） (2023-01-27T16:50:29Z)
A Multi-View Joint Learning Framework for Embedding Clinical Codes and Text Using Graph Neural Networks [23.06795121693656]
我々は,テキストの可用性と前方性,およびICDコードの性能向上を両立させるため,コードとテキストから学習するフレームワークを提案する。我々のアプローチでは、ICDコードを処理するグラフニューラルネットワーク(GNN)と、テキストを処理するBi-LSTMを用いています。計画された外科手術用テキストを用いた実験では,BERTモデルが臨床データに微調整されたモデルよりも優れていた。
論文参考訳（メタデータ） (2023-01-27T09:19:03Z)
A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文参考訳（メタデータ） (2022-08-09T03:49:52Z)
Assessing mortality prediction through different representation models based on concepts extracted from clinical notes [2.707154152696381]
埋め込みの学習は、音符をそれに匹敵する形式に変換する方法である。トランスフォーマーベースの表現モデルは、最近大きな飛躍を遂げた。病院死亡予測の課題において,学習した埋め込みベクターの有用性を評価する実験を行った。
論文参考訳（メタデータ） (2022-07-22T04:34:33Z)
Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
論文参考訳（メタデータ） (2022-07-21T16:59:09Z)
Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
論文参考訳（メタデータ） (2021-12-23T16:11:19Z)
Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文参考訳（メタデータ） (2021-08-02T10:42:52Z)
Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文参考訳（メタデータ） (2020-12-04T06:09:02Z)
An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文参考訳（メタデータ） (2020-11-12T17:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。