論文の概要: MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records

• arxiv url: http://arxiv.org/abs/2102.02340v1
• Date: Wed, 3 Feb 2021 23:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:50:07.211050
• Title: MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records
• Title（参考訳）: MUFASA:電子健康記録のためのマルチモーダル融合アーキテクチャ検索
• Authors: Zhen Xu, David R. So, Andrew M. Dai
• Abstract要約: 我々は最先端のニューラルアーキテクチャサーチ(NAS)手法を拡張し、MUFASA(MUltimodal Fusion Architecture SeArch)を提案する。 MUFASA法は,公益人事データ上で確立されたNASを同等のコストで上回り,その性能を実証的に実証した。 CCS診断コード予測におけるこれらのベースラインと比較すると、発見モデルではトップ5リコールを0.88から0.91に改善し、他のEHRタスクに一般化する能力を示している。
• 参考スコア（独自算出の注目度）: 18.42914458055976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One important challenge of applying deep learning to electronic health records (EHR) is the complexity of their multimodal structure. EHR usually contains a mixture of structured (codes) and unstructured (free-text) data with sparse and irregular longitudinal features -- all of which doctors utilize when making decisions. In the deep learning regime, determining how different modality representations should be fused together is a difficult problem, which is often addressed by handcrafted modeling and intuition. In this work, we extend state-of-the-art neural architecture search (NAS) methods and propose MUltimodal Fusion Architecture SeArch (MUFASA) to simultaneously search across multimodal fusion strategies and modality-specific architectures for the first time. We demonstrate empirically that our MUFASA method outperforms established unimodal NAS on public EHR data with comparable computation costs. In addition, MUFASA produces architectures that outperform Transformer and Evolved Transformer. Compared with these baselines on CCS diagnosis code prediction, our discovered models improve top-5 recall from 0.88 to 0.91 and demonstrate the ability to generalize to other EHR tasks. Studying our top architecture in depth, we provide empirical evidence that MUFASA's improvements are derived from its ability to both customize modeling for each data modality and find effective fusion strategies.
• Abstract（参考訳）: 深層学習を電子健康記録(EHR)に適用する重要な課題の1つは、そのマルチモーダル構造の複雑さである。 EHRは通常、構造化(コード)と非構造化(フリーテキスト)のデータと、不規則で不規則な縦方向の特徴が混在しています。 ディープラーニングの体制では、異なるモダリティ表現を融合させる方法を決定することは難しい問題であり、これはしばしば手作業によるモデリングと直感によって対処される。 本研究では、最新のニューラルアーキテクチャ探索(NAS)手法を拡張し、マルチモーダル融合戦略とモダリティ固有アーキテクチャを同時に探索するMUFASA(MUltimodal Fusion Architecture SeArch)を提案する。 提案手法は,計算コストに比較し,公開ehrデータ上で確立したユニモーダルnasよりも優れることを示す。 さらに、MUFASAはTransformerとEvolved Transformerを上回ったアーキテクチャを生成します。 CCS診断コード予測のこれらのベースラインと比較して、発見モデルは0.88から0.91にトップ5リコールを改善し、他のEHRタスクに一般化する能力を示しています。 トップアーキテクチャを深く研究し、MUFASAの改善は、各データモダリティのモデリングをカスタマイズし、効果的な融合戦略を見つける能力から導かれる、実証的な証拠を提供する。

関連論文リスト

• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
  実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。 近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
  論文  参考訳（メタデータ） (2024-04-13T13:39:26Z)
• Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions [48.0590120095748]
  本稿では,多様な入力モダリティと融合戦略を符号化する最適なモデルアーキテクチャを自動検索する,AutoFMという新しいニューラルネットワーク探索フレームワークを提案する。 我々は実世界のマルチモーダルEHRデータと予測タスクについて徹底的な実験を行い、その結果、我々のフレームワークが既存の最先端手法よりも大幅な性能向上を実現していることを示す。
  論文  参考訳（メタデータ） (2024-01-20T15:14:14Z)
• Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records [23.379185792773875]
  マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。 まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
  論文  参考訳（メタデータ） (2022-01-25T06:14:49Z)
• An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
  本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。 得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T13:43:46Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• CM-NAS: Cross-Modality Neural Architecture Search for Visible-Infrared Person Re-Identification [102.89434996930387]
  VI-ReIDは、暗い環境での単一モダリティ人物ReIDの制限を突破し、クロスモダリティ歩行者のイメージを一致させることを目指しています。 既存の作品は、さまざまな2ストリームアーキテクチャを手動で設計して、モダリティ固有およびモダリティシャーブル表現を別々に学習する。 CM-NAS(Cross-Modality Neural Architecture Search)という手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T07:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。