論文の概要: Language Model Training Paradigms for Clinical Feature Embeddings
- arxiv url: http://arxiv.org/abs/2311.00768v2
- Date: Tue, 6 Feb 2024 16:33:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 19:49:08.815218
- Title: Language Model Training Paradigms for Clinical Feature Embeddings
- Title(参考訳): 臨床機能埋め込みのための言語モデル学習パラダイム
- Authors: Yurong Hu, Manuel Burger, Gunnar R\"atsch, Rita Kuznetsova
- Abstract要約: 言語モデルのための自己教師型トレーニングパラダイムを用いて,高品質な臨床機能埋め込みを学習する。
教師なし次元縮小技術を用いて学習者の埋め込みを可視化し,先行臨床知識と高度に整合性を観察する。
- 参考スコア(独自算出の注目度): 1.4513150969598638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In research areas with scarce data, representation learning plays a
significant role. This work aims to enhance representation learning for
clinical time series by deriving universal embeddings for clinical features,
such as heart rate and blood pressure. We use self-supervised training
paradigms for language models to learn high-quality clinical feature
embeddings, achieving a finer granularity than existing time-step and
patient-level representation learning. We visualize the learnt embeddings via
unsupervised dimension reduction techniques and observe a high degree of
consistency with prior clinical knowledge. We also evaluate the model
performance on the MIMIC-III benchmark and demonstrate the effectiveness of
using clinical feature embeddings. We publish our code online for replication.
- Abstract(参考訳): データが少ない研究領域では、表現学習が重要な役割を果たす。
本研究の目的は、心拍数や血圧などの臨床的特徴に対する普遍的な埋め込みを導出し、臨床時系列の表現学習を強化することである。
言語モデルのための自己教師あり訓練パラダイムを用いて,高品質な臨床機能埋め込みを学び,既存の時間ステップや患者レベルの表現学習よりも細かい粒度を達成する。
我々は,教師なし次元縮小技術を用いて学習埋め込みを可視化し,先行臨床知識と高い一貫性を観察する。
また,MIMIC-IIIベンチマークのモデル性能を評価し,臨床的特徴埋め込みの有効性を示した。
レプリケーションのためにコードをオンラインで公開します。
関連論文リスト
- Aiming for Relevance [12.924312063047816]
臨床状況に合わせて,新しいバイタルサイン予測性能指標を導入する。
これらの指標は、ICU臨床医へのインタビューを通じて得られた経験的効用曲線から得られたものである。
これらの指標をニューラルネットワークの損失関数として用い,臨床上の重要な事象を予測できるモデルを構築した。
論文 参考訳(メタデータ) (2024-03-27T15:11:07Z) - CoRelation: Boosting Automatic ICD Coding Through Contextualized Code
Relation Learning [56.782963838838036]
我々は,ICDコード表現の学習を促進するために,文脈的かつ柔軟なフレームワークである新しい手法を提案する。
提案手法では,可能なすべてのコード関係をモデル化する際の臨床ノートのコンテキストを考慮した,依存型学習パラダイムを採用している。
論文 参考訳(メタデータ) (2024-02-24T03:25:28Z) - On the Importance of Step-wise Embeddings for Heterogeneous Clinical
Time-Series [1.3285222309805063]
近年のシークエンス・モデリングの深層学習の進歩は、電子健康記録から時系列を扱うタスクに完全に移行していない。
特に、ICU(Intensive Care Unit)に関わる問題では、木に基づく手法で表形式でシーケンス分類に取り組むことが現状である。
論文 参考訳(メタデータ) (2023-11-15T12:18:15Z) - TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic
Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。
近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。
本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文 参考訳(メタデータ) (2023-07-19T12:35:09Z) - Development and validation of a natural language processing algorithm to
pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。
臨床文献のコーパスを12種類に分類した。
私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文 参考訳(メタデータ) (2023-03-23T17:17:46Z) - A Multimodal Transformer: Fusing Clinical Notes with Structured EHR Data
for Interpretable In-Hospital Mortality Prediction [8.625186194860696]
臨床ノートと構造化HRデータを融合し,院内死亡率の予測に役立てる新しいマルチモーダルトランスフォーマーを提案する。
そこで本研究では,臨床ノートにおいて重要な単語を選択するための統合的勾配(IG)手法を提案する。
また,臨床 BERT における領域適応型事前訓練とタスク適応型微調整の重要性についても検討した。
論文 参考訳(メタデータ) (2022-08-09T03:49:52Z) - Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。
ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。
以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
論文 参考訳(メタデータ) (2022-08-03T08:33:21Z) - Patient Aware Active Learning for Fine-Grained OCT Classification [12.89552245538411]
本稿では,アクティブラーニングのサンプル選択プロセスに臨床知見を取り入れたフレームワークを提案する。
医学的に解釈可能な能動学習フレームワークは, OCT分類の性能向上のために, 患者から多彩な疾患の徴候を捉えている。
論文 参考訳(メタデータ) (2022-06-23T05:47:51Z) - LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。
タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。
クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文 参考訳(メタデータ) (2022-04-12T12:25:05Z) - Learning Predictive and Interpretable Timeseries Summaries from ICU Data [33.787187660310444]
本研究では,ヒトが予測的かつ容易に理解できる臨床時系列の要約を学習するための新しい手法を提案する。
学習した要約は従来の解釈可能なモデルクラスより優れており、病院内死亡率分類タスクにおける最先端のディープラーニングモデルに匹敵する性能を実現している。
論文 参考訳(メタデータ) (2021-09-22T21:14:05Z) - VBridge: Connecting the Dots Between Features, Explanations, and Data
for Healthcare Models [85.4333256782337]
VBridgeは、臨床医の意思決定ワークフローに機械学習の説明をシームレスに組み込むビジュアル分析ツールである。
我々は,臨床医がMLの特徴に慣れていないこと,文脈情報の欠如,コホートレベルの証拠の必要性など,3つの重要な課題を特定した。
症例スタディと専門医4名のインタビューを通じて, VBridgeの有効性を実証した。
論文 参考訳(メタデータ) (2021-08-04T17:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。