論文の概要: How Long Is Enough? Exploring the Optimal Intervals of Long-Range Clinical Note Language Modeling

• arxiv url: http://arxiv.org/abs/2211.07713v1
• Date: Tue, 25 Oct 2022 09:21:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 14:06:51.167630
• Title: How Long Is Enough? Exploring the Optimal Intervals of Long-Range Clinical Note Language Modeling
• Title（参考訳）: どれくらいかかるのか? 長期臨床ノート言語モデリングにおける最適間隔の探索
• Authors: Samuel Cahyawijaya, Bryan Wilie, Holy Lovenia, Huan Zhong, MingQian Zhong, Yuk-Yu Nancy Ip, Pascale Fung
• Abstract要約: 大規模事前訓練言語モデル(LM)は、生物医学および臨床領域で広く採用されている。 この研究は、Longformer を用いた LM からの長距離適応を探究し、LM がより長い臨床メモのコンテキストを捉えることを可能にする。 3つのn2c2課題データセットと香港病院電子健康記録システムによる縦断的臨床データセットについて実験を行った。
• 参考スコア（独自算出の注目度）: 37.247872987053654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large pre-trained language models (LMs) have been widely adopted in biomedical and clinical domains, introducing many powerful LMs such as bio-lm and BioELECTRA. However, the applicability of these methods to real clinical use cases is hindered, due to the limitation of pre-trained LMs in processing long textual data with thousands of words, which is a common length for a clinical note. In this work, we explore long-range adaptation from such LMs with Longformer, allowing the LMs to capture longer clinical notes context. We conduct experiments on three n2c2 challenges datasets and a longitudinal clinical dataset from Hong Kong Hospital Authority electronic health record (EHR) system to show the effectiveness and generalizability of this concept, achieving 10\% F1-score improvement. Based on our experiments, we conclude that capturing a longer clinical note interval is beneficial to the model performance, but there are different cut-off intervals to achieve the optimal performance for different target variables. Our code is available at https://github.com/HLTCHKUST/long-biomedical-model.
• Abstract（参考訳）: 大規模事前学習言語モデル(LM)は、バイオ医療や臨床の分野で広く採用されており、bio-lmやBioELECTRAなど多くの強力なLMが導入されている。 しかし、これらの手法が実際の臨床症例に適用可能であることは、何千もの単語による長文データの処理において、事前訓練されたLMが制限されているため、臨床ノートに共通する長さである。 本研究では,このようなlmsからlongformerを用いた長距離適応について検討し,lsmが臨床ノートの文脈を長く捉えることを可能にする。 本研究は,3つのn2c2課題データセットと,香港病院電子健康記録(EHR)システムによる縦断的臨床データセットを用いて,この概念の有効性と一般化性を実証し,F1スコアの改善を10 %達成した。 実験結果から,より長い臨床メモ間隔の取得はモデルの性能に有益であるが,目標変数の最適性能を達成するためには,カットオフ間隔が異なることが示唆された。 私たちのコードはhttps://github.com/HLTCHKUST/long-biomedical-modelで利用可能です。

関連論文リスト

• LongSkywork: A Training Recipe for Efficiently Extending Context Length in Large Language Models [61.12177317970258]
  LongSkyworkは、最大20万のトークンを処理できる、長いコンテキストのLarge Language Modelである。 我々は合成データを作成する2つの新しい方法を開発した。 LongSkyworkは、様々なロングコンテキストベンチマークで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-02T03:34:41Z)
• TrialDura: Hierarchical Attention Transformer for Interpretable Clinical Trial Duration Prediction [19.084936647082632]
  マルチモーダルデータを用いて臨床試験期間を推定する機械学習に基づくTrialDuraを提案する。 バイオメディカルコンテキストに特化されたBio-BERT埋め込みにエンコードして,より深く,より関連するセマンティック理解を提供する。 提案モデルでは, 平均絶対誤差(MAE)が1.04年, 根平均二乗誤差(RMSE)が1.39年であった。
  論文  参考訳（メタデータ） (2024-04-20T02:12:59Z)
• Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study [4.042419725040222]
  BERTに基づく事前訓練された言語モデルは、フランスの生物医学領域に導入されている。 これらのモデルは512トークンの入力シーケンスの長さに制限されており、臨床記録に適用した場合に課題が生じる。 本稿では,Longformerアーキテクチャを利用した長周期モデルに対する3つの適応戦略の比較研究を行う。
  論文  参考訳（メタデータ） (2024-02-26T16:05:33Z)
• LongBoX: Evaluating Transformers on Long-Sequence Clinical Tasks [44.89857441408805]
  LongBoXは、テキストからテキストへのフォーマットで7つの医療データセットのコレクションである。 予備実験により、医療用LLMと強力な一般用LLMの両方がこのベンチマークで苦戦していることが明らかとなった。 長周期処理のための2つの手法を評価する: (i) 局所的言語的注意と (ii) フュージョン・イン・デコーダ (FiD)
  論文  参考訳（メタデータ） (2023-11-16T04:57:49Z)
• Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section [70.37720062263176]
  本研究では,高い予測力で区間を解析する枠組みを提案する。 MIMIC-IIIを用いて,(1)看護用音符と退院用音符とでは予測電力分布が異なること,(2)文脈長が大きい場合の音符の組み合わせにより性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-07-13T20:04:05Z)
• Time Associated Meta Learning for Clinical Prediction [78.99422473394029]
  本稿では,時間関連メタラーニング(TAML)手法を提案する。 タスク分割後のスパーシリティ問題に対処するため、TAMLは時間情報共有戦略を採用し、正のサンプル数を増やす。 複数の臨床データセットに対するTAMLの有効性を示す。
  論文  参考訳（メタデータ） (2023-03-05T03:54:54Z)
• A Comparative Study of Pretrained Language Models for Long Clinical Text [4.196346055173027]
  大規模臨床コーパスで事前訓練した2つのドメイン富化言語モデル, クリニカル・ロングフォーマーとクリニカル・ビッグバードを紹介した。 名前付きエンティティ認識、質問応答、自然言語推論、文書分類タスクを含む10のベースラインタスクを用いて、両方の言語モデルを評価する。
  論文  参考訳（メタデータ） (2023-01-27T16:50:29Z)
• Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
  本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。 ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。 以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T08:33:21Z)
• Clinical-Longformer and Clinical-BigBird: Transformers for long clinical sequences [4.196346055173027]
  BERTのようなトランスフォーマーベースのモデルは、様々な自然言語処理タスクのパフォーマンスを劇的に改善した。 これらの変圧器の中核となる制限の一つは、完全な自己保持機構のため、メモリ消費の大幅な増加である。 大規模臨床コーパスから事前学習した2つのドメイン強化言語モデル,すなわちCLI(CLI)-LongformerとCLI(CLI)-BigBirdを導入する。
  論文  参考訳（メタデータ） (2022-01-27T22:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。