論文の概要: Learning Missing Modal Electronic Health Records with Unified Multi-modal Data Embedding and Modality-Aware Attention

• arxiv url: http://arxiv.org/abs/2305.02504v1
• Date: Thu, 4 May 2023 02:24:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-05 17:15:21.872442
• Title: Learning Missing Modal Electronic Health Records with Unified Multi-modal Data Embedding and Modality-Aware Attention
• Title（参考訳）: 統一型マルチモーダルデータ埋め込みとモダリティ認識による電子健康記録の欠落の学習
• Authors: Kwanhyung Lee, Soojeong Lee, Sangchul Hahn, Heejung Hyun, Edward Choi, Byungeun Ahn, Joohyung Lee
• Abstract要約: 我々はSkip Bottleneck(SB)を用いたUMSE(Unified Multi-modal Set Embedding)とMAA(Modality-Aware Attention)を導入する。 UMSEは、別個の計算モジュールやエラーを起こしやすい搬送フォワードを使わずに全てのEHRモダリティを扱い、一方、SBを持つMAAは、効果的なモーダル対応の注意を払って、欠落したモーダルEHRを学習する。 我々のモデルは,MIMIC-IVデータセットを用いて,死亡率,血管圧下ニーズ,挿管需要の予測において,他のベースラインモデルよりも優れている。
• 参考スコア（独自算出の注目度）: 6.6543715767668346
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Electronic Health Record (EHR) provides abundant information through various modalities. However, learning multi-modal EHR is currently facing two major challenges, namely, 1) data embedding and 2) cases with missing modality. A lack of shared embedding function across modalities can discard the temporal relationship between different EHR modalities. On the other hand, most EHR studies are limited to relying only on EHR Times-series, and therefore, missing modality in EHR has not been well-explored. Therefore, in this study, we introduce a Unified Multi-modal Set Embedding (UMSE) and Modality-Aware Attention (MAA) with Skip Bottleneck (SB). UMSE treats all EHR modalities without a separate imputation module or error-prone carry-forward, whereas MAA with SB learns missing modal EHR with effective modality-aware attention. Our model outperforms other baseline models in mortality, vasopressor need, and intubation need prediction with the MIMIC-IV dataset.
• Abstract（参考訳）: 電子健康記録(ehr)は様々な形態を通じて豊富な情報を提供する。 しかし、マルチモーダルEHRの学習は、現在2つの大きな課題に直面している。 1)データ埋め込み 2)モダリティの欠如例。 モダリティ間の共有埋め込み機能の欠如は、異なるEHRモダリティ間の時間的関係を破棄することができる。 一方、ほとんどの EHR 研究は EHR Times シリーズのみに依存しているため、EHR におけるモダリティの欠如はよく研究されていない。 そこで本研究では,Skip Bottleneck(SB)を用いたUMSE(Unified Multi-modal Set Embedding)とMAA(Modality-Aware Attention)を導入する。 UMSEは、別の計算モジュールやエラーを起こしやすい搬送フォワードを使わずに全てのEHRモダリティを扱い、一方、SBを持つMAAは、効果的なモダリティに注意を払って欠落したモードEHRを学習する。 我々のモデルは,MIMIC-IVデータセットを用いて,死亡率,血管圧下ニーズ,挿管需要の予測において,他のベースラインモデルよりも優れている。

関連論文リスト

• MoRA: LoRA Guided Multi-Modal Disease Diagnosis with Missing Modality [29.088860237497165]
  マルチモーダル事前学習モデルに対するモダリティ対応低ランク適応(MoRA)を提案する。 MoRAはモデルの最初のブロックに統合され、モダリティの欠如によるパフォーマンスが大幅に向上する。 モデル全体のトレーニングに比べて、トレーニング可能なパラメータの1.6%未満を必要とする。
  論文  参考訳（メタデータ） (2024-08-17T01:40:00Z)
• Multi-task Heterogeneous Graph Learning on Electronic Health Records [22.218522445858344]
  EHRモデリングのための新しいフレームワーク MulT-EHR (Multi-Task EHR) を提案する。 そこで本研究では,因果推論フレームワークをベースとしたデノナイジングモジュールを導入し,重度のコンバウンディング効果の調整を行う。 マルチタスク学習モジュールを設計し、タスク間知識を活用してトレーニングプロセスの正規化を行う。
  論文  参考訳（メタデータ） (2024-08-14T14:06:13Z)
• MDA: An Interpretable and Scalable Multi-Modal Fusion under Missing Modalities and Intrinsic Noise Conditions [6.612523356335498]
  本稿では,マルチモーダル学習の課題に対処するために,モーダル・ドメイン・アテンション(MDA)モデルを提案する。 MDAは、異なるモーダルに対して動的注意を適応的に割り当てる能力により、連続的な注意を通してモーダル間の線形関係を構築する。 以上の結果から,MDAと診断基準が一致していることが示唆された。
  論文  参考訳（メタデータ） (2024-06-15T09:08:58Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• What Makes for Robust Multi-Modal Models in the Face of Missing Modalities? [35.19295402483624]
  我々は、情報理論の観点から、欠落するモダリティに遭遇するマルチモーダルモデルのシナリオをモデル化する。 UME-MMA(Uni-Modal Ensemble with Missing Modality Adaptation)を紹介する。 UME-MMAは、マルチモーダルモデルのための一様事前訓練重みを用いて特徴抽出を強化し、欠落したモダリティデータ拡張技術を用いて、モダリティのない状況に適応する。
  論文  参考訳（メタデータ） (2023-10-10T07:47:57Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Which is Making the Contribution: Modulating Unimodal and Cross-modal Dynamics for Multimodal Sentiment Analysis [18.833050804875032]
  マルチモーダル感情分析(MSA)は、マルチモーダルデータの利用により注目される。 最近のMSAは、主にクロスモーダル力学の学習に重点を置いているが、ユニモーダルネットワークの最適解を探すことは無視されている。 MSAフレームワーク textbfModulation textbfModel for textbfMultimodal textbfSentiment textbfAnalysisを提案する。
  論文  参考訳（メタデータ） (2021-11-10T03:29:17Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。