Fugu-MT 論文翻訳(概要): Language Model Training Paradigms for Clinical Feature Embeddings

論文の概要: Language Model Training Paradigms for Clinical Feature Embeddings

arxiv url: http://arxiv.org/abs/2311.00768v2
Date: Tue, 6 Feb 2024 16:33:48 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 19:49:08.815218
Title: Language Model Training Paradigms for Clinical Feature Embeddings
Title（参考訳）: 臨床機能埋め込みのための言語モデル学習パラダイム
Authors: Yurong Hu, Manuel Burger, Gunnar R\"atsch, Rita Kuznetsova
Abstract要約: 言語モデルのための自己教師型トレーニングパラダイムを用いて,高品質な臨床機能埋め込みを学習する。教師なし次元縮小技術を用いて学習者の埋め込みを可視化し,先行臨床知識と高度に整合性を観察する。
参考スコア（独自算出の注目度）: 1.4513150969598638
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In research areas with scarce data, representation learning plays a significant role. This work aims to enhance representation learning for clinical time series by deriving universal embeddings for clinical features, such as heart rate and blood pressure. We use self-supervised training paradigms for language models to learn high-quality clinical feature embeddings, achieving a finer granularity than existing time-step and patient-level representation learning. We visualize the learnt embeddings via unsupervised dimension reduction techniques and observe a high degree of consistency with prior clinical knowledge. We also evaluate the model performance on the MIMIC-III benchmark and demonstrate the effectiveness of using clinical feature embeddings. We publish our code online for replication.
Abstract（参考訳）: データが少ない研究領域では、表現学習が重要な役割を果たす。本研究の目的は、心拍数や血圧などの臨床的特徴に対する普遍的な埋め込みを導出し、臨床時系列の表現学習を強化することである。言語モデルのための自己教師あり訓練パラダイムを用いて,高品質な臨床機能埋め込みを学び,既存の時間ステップや患者レベルの表現学習よりも細かい粒度を達成する。我々は,教師なし次元縮小技術を用いて学習埋め込みを可視化し,先行臨床知識と高い一貫性を観察する。また,MIMIC-IIIベンチマークのモデル性能を評価し,臨床的特徴埋め込みの有効性を示した。レプリケーションのためにコードをオンラインで公開します。

関連論文リスト

Named Clinical Entity Recognition Benchmark [2.9332007863461893]
本報告では, 名前付き臨床エンティティ認識ベンチマークを紹介する。臨床物語から構造化された情報を抽出する重要な自然言語処理(NLP)タスクに対処する。リーダーボードは多様な言語モデルを評価するための標準化されたプラットフォームを提供する。
論文参考訳（メタデータ） (2024-10-07T14:00:18Z)
Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding [5.279406017862076]
病院のコースをまとめることの課題は、さらなる研究と開発のためのオープンな領域のままである。 Llama 3, BioMistral, Mistral Instruct v0.1 の3種類のプレトレーニング LLM を病院コース要約作業に適用した。臨床領域の微調整の有効性を評価するため,BERTScoreおよびROUGE測定値を用いて微調整モデルの評価を行った。
論文参考訳（メタデータ） (2024-09-23T00:35:23Z)
How Deep is your Guess? A Fresh Perspective on Deep Learning for Medical Time-Series Imputation [6.547981908229007]
深層学習を用いた時系列計算のための新しい分類フレームワークを提案する。文献における概念的ギャップと既存のレビューを識別することにより、ニューラル・インパテーション・フレームワークの帰納的バイアスに基づく分類法を考案する。
論文参考訳（メタデータ） (2024-07-11T12:33:28Z)
Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-05-29T23:19:28Z)
Aiming for Relevance [12.924312063047816]
臨床状況に合わせて,新しいバイタルサイン予測性能指標を導入する。これらの指標は、ICU臨床医へのインタビューを通じて得られた経験的効用曲線から得られたものである。これらの指標をニューラルネットワークの損失関数として用い,臨床上の重要な事象を予測できるモデルを構築した。
論文参考訳（メタデータ） (2024-03-27T15:11:07Z)
CoRelation: Boosting Automatic ICD Coding Through Contextualized Code Relation Learning [56.782963838838036]
我々は,ICDコード表現の学習を促進するために,文脈的かつ柔軟なフレームワークである新しい手法を提案する。提案手法では,可能なすべてのコード関係をモデル化する際の臨床ノートのコンテキストを考慮した,依存型学習パラダイムを採用している。
論文参考訳（メタデータ） (2024-02-24T03:25:28Z)
On the Importance of Step-wise Embeddings for Heterogeneous Clinical Time-Series [1.3285222309805063]
近年のシークエンス・モデリングの深層学習の進歩は、電子健康記録から時系列を扱うタスクに完全に移行していない。特に、ICU(Intensive Care Unit)に関わる問題では、木に基づく手法で表形式でシーケンス分類に取り組むことが現状である。
論文参考訳（メタデータ） (2023-11-15T12:18:15Z)
TREEMENT: Interpretable Patient-Trial Matching via Personalized Dynamic Tree-Based Memory Network [54.332862955411656]
臨床試験は薬物開発に不可欠であるが、しばしば高価で非効率な患者募集に苦しむ。近年,患者と臨床試験を自動マッチングすることで患者採用を高速化する機械学習モデルが提案されている。本稿では,TREement という名前の動的ツリーベースメモリネットワークモデルを導入する。
論文参考訳（メタデータ） (2023-07-19T12:35:09Z)
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。臨床文献のコーパスを12種類に分類した。私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
論文参考訳（メタデータ） (2023-03-23T17:17:46Z)
Cross-Lingual Knowledge Transfer for Clinical Phenotyping [55.92262310716537]
本稿では,英語を使わないクリニックに対して,このタスクを実行するための言語間知識伝達戦略について検討する。ギリシャ語とスペイン語のクリニックに対して,異なる臨床領域のクリニカルノートを活用して,これらの戦略を評価する。以上の結果から,多言語データを用いることで,臨床表現型モデルが改善され,データの疎度を補うことが可能であることが示唆された。
論文参考訳（メタデータ） (2022-08-03T08:33:21Z)
LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
論文参考訳（メタデータ） (2022-04-12T12:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。