論文の概要: How Long Is Enough? Exploring the Optimal Intervals of Long-Range Clinical Note Language Modeling

• arxiv url: http://arxiv.org/abs/2211.07713v1
• Date: Tue, 25 Oct 2022 09:21:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 14:06:51.167630
• Title: How Long Is Enough? Exploring the Optimal Intervals of Long-Range Clinical Note Language Modeling
• Title（参考訳）: どれくらいかかるのか? 長期臨床ノート言語モデリングにおける最適間隔の探索
• Authors: Samuel Cahyawijaya, Bryan Wilie, Holy Lovenia, Huan Zhong, MingQian Zhong, Yuk-Yu Nancy Ip, Pascale Fung
• Abstract要約: 大規模事前訓練言語モデル(LM)は、生物医学および臨床領域で広く採用されている。 この研究は、Longformer を用いた LM からの長距離適応を探究し、LM がより長い臨床メモのコンテキストを捉えることを可能にする。 3つのn2c2課題データセットと香港病院電子健康記録システムによる縦断的臨床データセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 37.247872987053654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large pre-trained language models (LMs) have been widely adopted in biomedical and clinical domains, introducing many powerful LMs such as bio-lm and BioELECTRA. However, the applicability of these methods to real clinical use cases is hindered, due to the limitation of pre-trained LMs in processing long textual data with thousands of words, which is a common length for a clinical note. In this work, we explore long-range adaptation from such LMs with Longformer, allowing the LMs to capture longer clinical notes context. We conduct experiments on three n2c2 challenges datasets and a longitudinal clinical dataset from Hong Kong Hospital Authority electronic health record (EHR) system to show the effectiveness and generalizability of this concept, achieving 10\% F1-score improvement. Based on our experiments, we conclude that capturing a longer clinical note interval is beneficial to the model performance, but there are different cut-off intervals to achieve the optimal performance for different target variables. Our code is available at https://github.com/HLTCHKUST/long-biomedical-model.
• Abstract（参考訳）: 大規模事前学習言語モデル(LM)は、バイオ医療や臨床の分野で広く採用されており、bio-lmやBioELECTRAなど多くの強力なLMが導入されている。 しかし、これらの手法が実際の臨床症例に適用可能であることは、何千もの単語による長文データの処理において、事前訓練されたLMが制限されているため、臨床ノートに共通する長さである。 本研究では,このようなlmsからlongformerを用いた長距離適応について検討し,lsmが臨床ノートの文脈を長く捉えることを可能にする。 本研究は,3つのn2c2課題データセットと,香港病院電子健康記録(EHR)システムによる縦断的臨床データセットを用いて,この概念の有効性と一般化性を実証し,F1スコアの改善を10 %達成した。 実験結果から,より長い臨床メモ間隔の取得はモデルの性能に有益であるが,目標変数の最適性能を達成するためには,カットオフ間隔が異なることが示唆された。 私たちのコードはhttps://github.com/HLTCHKUST/long-biomedical-modelで利用可能です。

関連論文リスト

• HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
  本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。 胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。 特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
  論文  参考訳（メタデータ） (2024-12-15T06:04:16Z)
• Exploring Long-Term Prediction of Type 2 Diabetes Microvascular Complications [4.711968364396988]
  2型糖尿病患者の微小血管合併症の予測には,コードに依存しないアプローチを用いる。 本手法は,臨床言語モデルを用いて,個々のEHRをテキストとして符号化する。 コードに依存しないアプローチがコードベースモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-02T09:54:51Z)
• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• LongBoX: Evaluating Transformers on Long-Sequence Clinical Tasks [44.89857441408805]
  LongBoXは、テキストからテキストへのフォーマットで7つの医療データセットのコレクションである。 予備実験により、医療用LLMと強力な一般用LLMの両方がこのベンチマークで苦戦していることが明らかとなった。 長周期処理のための2つの手法を評価する: (i) 局所的言語的注意と (ii) フュージョン・イン・デコーダ (FiD)
  論文  参考訳（メタデータ） (2023-11-16T04:57:49Z)
• On Preserving the Knowledge of Long Clinical Texts [0.0]
  臨床テキストの処理にトランスフォーマーエンコーダを使用する際のボトルネックは、これらのモデルの入力長制限から生じる。 本稿ではトランスフォーマーエンコーダの集合アンサンブルを用いたモデルにおける長期臨床テキストの知識を保存するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-02T19:50:02Z)
• Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section [70.37720062263176]
  本研究では,高い予測力で区間を解析する枠組みを提案する。 MIMIC-IIIを用いて,(1)看護用音符と退院用音符とでは予測電力分布が異なること,(2)文脈長が大きい場合の音符の組み合わせにより性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-07-13T20:04:05Z)
• Time Associated Meta Learning for Clinical Prediction [78.99422473394029]
  本稿では,時間関連メタラーニング(TAML)手法を提案する。 タスク分割後のスパーシリティ問題に対処するため、TAMLは時間情報共有戦略を採用し、正のサンプル数を増やす。 複数の臨床データセットに対するTAMLの有効性を示す。
  論文  参考訳（メタデータ） (2023-03-05T03:54:54Z)
• A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
  大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。 名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
  論文  参考訳（メタデータ） (2023-01-27T16:50:29Z)
• Clinical-Longformer and Clinical-BigBird: Transformers for long clinical sequences [4.196346055173027]
  BERTのようなトランスフォーマーベースのモデルは、様々な自然言語処理タスクのパフォーマンスを劇的に改善した。 これらの変圧器の中核となる制限の一つは、完全な自己保持機構のため、メモリ消費の大幅な増加である。 大規模臨床コーパスから事前学習した2つのドメイン強化言語モデル,すなわちCLI(CLI)-LongformerとCLI(CLI)-BigBirdを導入する。
  論文  参考訳（メタデータ） (2022-01-27T22:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。