論文の概要: Preserving the knowledge of long clinical texts using aggregated ensembles of large language models

• arxiv url: http://arxiv.org/abs/2311.01571v1
• Date: Thu, 2 Nov 2023 19:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-06 16:02:22.354857
• Title: Preserving the knowledge of long clinical texts using aggregated ensembles of large language models
• Title（参考訳）: 大規模言語モデルの統合アンサンブルを用いた長期臨床テキストの知識の保存
• Authors: Mohammad Junayed Hasan, Suhra Noor and Mohammad Ashrafuzzaman Khan
• Abstract要約: 臨床テキストには、様々な臨床結果予測タスクに使用できる、豊富で価値のある情報が含まれている。 BERTベースのモデルのような大きな言語モデルを臨床テキストに適用することは、2つの大きな課題をもたらす。 本稿では,大規模言語モデルの集合アンサンブルを用いて,長期臨床テキストの知識を保存するための新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Clinical texts, such as admission notes, discharge summaries, and progress notes, contain rich and valuable information that can be used for various clinical outcome prediction tasks. However, applying large language models, such as BERT-based models, to clinical texts poses two major challenges: the limitation of input length and the diversity of data sources. This paper proposes a novel method to preserve the knowledge of long clinical texts using aggregated ensembles of large language models. Unlike previous studies which use model ensembling or text aggregation methods separately, we combine ensemble learning with text aggregation and train multiple large language models on two clinical outcome tasks: mortality prediction and length of stay prediction. We show that our method can achieve better results than baselines, ensembling, and aggregation individually, and can improve the performance of large language models while handling long inputs and diverse datasets. We conduct extensive experiments on the admission notes from the MIMIC-III clinical database by combining multiple unstructured and high-dimensional datasets, demonstrating our method's effectiveness and superiority over existing approaches. We also provide a comprehensive analysis and discussion of our results, highlighting our method's applications and limitations for future research in the domain of clinical healthcare. The results and analysis of this study is supportive of our method assisting in clinical healthcare systems by enabling clinical decision-making with robust performance overcoming the challenges of long text inputs and varied datasets.
• Abstract（参考訳）: 入院記、退院記、進歩記などの臨床テキストには、様々な臨床結果予測タスクに使用できる豊富で価値のある情報が含まれている。 しかし、BERTベースのモデルのような大きな言語モデルを臨床テキストに適用すると、入力長の制限とデータソースの多様性という2つの大きな課題が生じる。 本稿では, 大規模言語モデルの統合アンサンブルを用いて, 長期臨床テキストの知識を保存できる新しい手法を提案する。 モデルアンサンブル法やテキストアグリゲーション法を別々に用いた従来の研究とは異なり、アンサンブル学習をテキストアグリゲーションと組み合わせ、複数の大規模言語モデルを2つの臨床結果のタスク、すなわち死亡予測と滞在予測の長さで訓練する。 提案手法は,ベースラインやアンサンブル,アグリゲーションを個別に行うよりも優れた結果が得られ,長い入力や多様なデータセットを処理しながら,大規模言語モデルの性能を向上させることができることを示す。 本研究は,MIMIC-III 臨床データベースから,複数の非構造化データセットと高次元データセットを組み合わせ,提案手法の有効性と既存手法よりも優れていることを示す。 また,本手法の応用と臨床医療分野における今後の研究への限界を強調し,総合的な分析と考察を行った。 本研究の結果と分析は, 長文入力や多種多様なデータセットの課題を克服し, 堅牢なパフォーマンスで臨床意思決定を可能にすることで, 臨床医療システムにおける支援手法を裏付けるものである。

関連論文リスト

• Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
  病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。 Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。 臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
  論文  参考訳（メタデータ） (2024-09-23T00:35:23Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section [70.37720062263176]
  本研究では,高い予測力で区間を解析する枠組みを提案する。 MIMIC-IIIを用いて,(1)看護用音符と退院用音符とでは予測電力分布が異なること,(2)文脈長が大きい場合の音符の組み合わせにより性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-07-13T20:04:05Z)
• Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
  我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。 その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。 再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
  論文  参考訳（メタデータ） (2023-04-21T11:54:44Z)
• Modelling Temporal Document Sequences for Clinical ICD Coding [9.906895077843663]
  本稿では,ICD符号化のための病院留置所における臨床ノートの全列にテキストを用いた階層型トランスフォーマーアーキテクチャを提案する。 すべての臨床ノートを使用すると、データ量が大幅に増加するが、超収束はトレーニングコストの削減に利用することができる。 本モデルでは, 放電サマリーのみを入力として使用する場合の先行技術を超え, 全臨床ノートを入力として使用する場合のさらなる性能向上を実現している。
  論文  参考訳（メタデータ） (2023-02-24T14:41:48Z)
• A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
  大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。 名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
  論文  参考訳（メタデータ） (2023-01-27T16:50:29Z)
• A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
  臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。 そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。 また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
  論文  参考訳（メタデータ） (2022-08-09T03:49:52Z)
• Assessing mortality prediction through different representation models based on concepts extracted from clinical notes [2.707154152696381]
  埋め込みの学習は、音符をそれに匹敵する形式に変換する方法である。 トランスフォーマーベースの表現モデルは、最近大きな飛躍を遂げた。 病院死亡予測の課題において,学習した埋め込みベクターの有用性を評価する実験を行った。
  論文  参考訳（メタデータ） (2022-07-22T04:34:33Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
  本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。 目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。 本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:42:52Z)
• An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
  EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。 最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。 本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
  論文  参考訳（メタデータ） (2020-11-12T17:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。