論文の概要: Improving Representation Learning of Complex Critical Care Data with ICU-BERT

• arxiv url: http://arxiv.org/abs/2502.19593v1
• Date: Wed, 26 Feb 2025 22:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:42.516476
• Title: Improving Representation Learning of Complex Critical Care Data with ICU-BERT
• Title（参考訳）: ICU-BERTを用いた複雑臨界ケアデータの表現学習の改善
• Authors: Ricardo Santos, André V. Carreiro, Xi Peng, Hugo Gamboa, Holger Fröhlich,
• Abstract要約: ICU-BERTは、MIMIC-IVデータベース上で事前トレーニングされたトランスフォーマーベースのモデルである。 最小限の事前処理で複雑なICUデータの堅牢な表現を学習する。 微調整を活用することで、現在のパフォーマンスベンチマークと比較するか、超えるかのどちらかだ。
• 参考スコア（独自算出の注目度）: 7.287023190850672
• License:
• Abstract: The multivariate, asynchronous nature of real-world clinical data, such as that generated in Intensive Care Units (ICUs), challenges traditional AI-based decision-support systems. These often assume data regularity and feature independence and frequently rely on limited data scopes and manual feature engineering. The potential of generative AI technologies has not yet been fully exploited to analyze clinical data. We introduce ICU-BERT, a transformer-based model pre-trained on the MIMIC-IV database using a multi-task scheme to learn robust representations of complex ICU data with minimal preprocessing. ICU-BERT employs a multi-token input strategy, incorporating dense embeddings from a biomedical Large Language Model to learn a generalizable representation of complex and multivariate ICU data. With an initial evaluation of five tasks and four additional ICU datasets, ICU-BERT results indicate that ICU-BERT either compares to or surpasses current performance benchmarks by leveraging fine-tuning. By integrating structured and unstructured data, ICU-BERT advances the use of foundational models in medical informatics, offering an adaptable solution for clinical decision support across diverse applications.
• Abstract（参考訳）: ICU(Intensive Care Units)で生成されたような、実世界の臨床データの多変量で非同期な性質は、従来のAIベースの意思決定支援システムに挑戦する。 これらはしばしばデータの規則性と機能の独立性を前提としており、限られたデータスコープと手動の機能工学に依存している。 生成AI技術のポテンシャルは、まだ臨床データを分析するために十分に活用されていない。 マルチタスク方式を用いて,MIMIC-IVデータベース上で事前学習したトランスフォーマーベースモデルであるICU-BERTを導入し,プリプロセッシングを最小化して複雑なICUデータのロバスト表現を学習する。 ICU-BERTは、複雑な多変量ICUデータの一般化可能な表現を学習するために、バイオメディカルな大規模言語モデルからの密度の高い埋め込みを組み込んだマルチトークン入力戦略を採用している。 5つのタスクと4つの追加のICUデータセットを評価した結果、ICU-BERTは微調整を利用して現在のパフォーマンスベンチマークと比較または上回ったことを示している。 構造化データと非構造化データを統合することにより、ICU-BERTは医療情報学における基礎モデルの使用を推進し、様々な応用における臨床決定支援に適応可能なソリューションを提供する。

関連論文リスト

• Medchain: Bridging the Gap Between LLM Agents and Clinical Practice through Interactive Sequential Benchmarking [58.25862290294702]
  臨床ワークフローの5つの重要な段階をカバーする12,163の臨床症例のデータセットであるMedChainを提示する。 フィードバック機構とMCase-RAGモジュールを統合したAIシステムであるMedChain-Agentも提案する。
  論文  参考訳（メタデータ） (2024-12-02T15:25:02Z)
• Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
  網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。 より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。 さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
  論文  参考訳（メタデータ） (2024-09-17T17:22:35Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• Yet Another ICU Benchmark: A Flexible Multi-Center Framework for Clinical ML [0.7982607013768545]
  Another ICU Benchmark (YAIB) は、再現性と同等の臨床ML実験を定義するためのモジュラーフレームワークである。 YAIBは、ほとんどのオープンアクセスICUデータセット(MIMIC III/IV、eICU、HiRID、AUMCdb)をサポートし、将来のICUデータセットに容易に適応できる。 データセットの選択,コホート定義,前処理が予測性能に大きな影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2023-06-08T11:16:20Z)
• MVMTnet: A Multi-variate Multi-modal Transformer for Multi-class Classification of Cardiac Irregularities Using ECG Waveforms and Clinical Notes [4.648677931378919]
  ディープラーニングは、臨床ベースのアプリケーションのための診断と患者モニタリングを最適化するために使用することができる。 心臓血管疾患では、世界中の様々な地域で医療資源が利用可能になる傾向がますます高まってきており、心疾患の自動分類が課題となっている。 提案したマルチモーダルトランスフォーマーアーキテクチャは、トランスフォーマーのクロスドメインの有効性を実証しながら、このタスクを正確に実行することができる。
  論文  参考訳（メタデータ） (2023-02-21T21:38:41Z)
• Application of federated learning techniques for arrhythmia classification using 12-lead ECG signals [0.11184789007828977]
  この作業では、フェデレートラーニング(FL)プライバシ保護方法論を使用して、高定義のECGの異種集合上でAIモデルをトレーニングする。 CL, IID, 非IIDアプローチを用いて訓練したモデルと比較した。
  論文  参考訳（メタデータ） (2022-08-23T14:21:16Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• 2021 BEETL Competition: Advancing Transfer Learning for Subject Independence & Heterogenous EEG Data Sets [89.84774119537087]
  我々は、診断とBCI(Brain-Computer-Interface)に関する2つの伝達学習課題を設計する。 第1タスクは、患者全体にわたる自動睡眠ステージアノテーションに対処する医療診断に重点を置いている。 タスク2はBrain-Computer Interface (BCI)に集中しており、被験者とデータセットの両方にわたる運動画像のデコードに対処する。
  論文  参考訳（メタデータ） (2022-02-14T12:12:20Z)
• HiRID-ICU-Benchmark -- A Comprehensive Machine Learning Benchmark on High-resolution ICU Data [0.8418021941792283]
  ICU関連タスクの幅広い範囲をカバーするベンチマークの提供を目指している。 HiRIDデータセットを用いて,臨床医とのコラボレーションによって開発された複数の臨床関連タスクを定義した。 我々は,このタイプのデータに対する深層学習アプローチのいくつかの制限を強調し,現在最先端のシーケンスモデリング手法を詳細に分析する。
  論文  参考訳（メタデータ） (2021-11-16T15:06:42Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。