論文の概要: MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records

• arxiv url: http://arxiv.org/abs/2102.02340v1
• Date: Wed, 3 Feb 2021 23:48:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-05 16:50:07.211050
• Title: MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records
• Title（参考訳）: MUFASA:電子健康記録のためのマルチモーダル融合アーキテクチャ検索
• Authors: Zhen Xu, David R. So, Andrew M. Dai
• Abstract要約: 我々は最先端のニューラルアーキテクチャサーチ(NAS)手法を拡張し、MUFASA(MUltimodal Fusion Architecture SeArch)を提案する。 MUFASA法は,公益人事データ上で確立されたNASを同等のコストで上回り,その性能を実証的に実証した。 CCS診断コード予測におけるこれらのベースラインと比較すると、発見モデルではトップ5リコールを0.88から0.91に改善し、他のEHRタスクに一般化する能力を示している。
• 参考スコア（独自算出の注目度）: 18.42914458055976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One important challenge of applying deep learning to electronic health records (EHR) is the complexity of their multimodal structure. EHR usually contains a mixture of structured (codes) and unstructured (free-text) data with sparse and irregular longitudinal features -- all of which doctors utilize when making decisions. In the deep learning regime, determining how different modality representations should be fused together is a difficult problem, which is often addressed by handcrafted modeling and intuition. In this work, we extend state-of-the-art neural architecture search (NAS) methods and propose MUltimodal Fusion Architecture SeArch (MUFASA) to simultaneously search across multimodal fusion strategies and modality-specific architectures for the first time. We demonstrate empirically that our MUFASA method outperforms established unimodal NAS on public EHR data with comparable computation costs. In addition, MUFASA produces architectures that outperform Transformer and Evolved Transformer. Compared with these baselines on CCS diagnosis code prediction, our discovered models improve top-5 recall from 0.88 to 0.91 and demonstrate the ability to generalize to other EHR tasks. Studying our top architecture in depth, we provide empirical evidence that MUFASA's improvements are derived from its ability to both customize modeling for each data modality and find effective fusion strategies.
• Abstract（参考訳）: 深層学習を電子健康記録(EHR)に適用する重要な課題の1つは、そのマルチモーダル構造の複雑さである。 EHRは通常、構造化(コード)と非構造化(フリーテキスト)のデータと、不規則で不規則な縦方向の特徴が混在しています。 ディープラーニングの体制では、異なるモダリティ表現を融合させる方法を決定することは難しい問題であり、これはしばしば手作業によるモデリングと直感によって対処される。 本研究では、最新のニューラルアーキテクチャ探索(NAS)手法を拡張し、マルチモーダル融合戦略とモダリティ固有アーキテクチャを同時に探索するMUFASA(MUltimodal Fusion Architecture SeArch)を提案する。 提案手法は,計算コストに比較し,公開ehrデータ上で確立したユニモーダルnasよりも優れることを示す。 さらに、MUFASAはTransformerとEvolved Transformerを上回ったアーキテクチャを生成します。 CCS診断コード予測のこれらのベースラインと比較して、発見モデルは0.88から0.91にトップ5リコールを改善し、他のEHRタスクに一般化する能力を示しています。 トップアーキテクチャを深く研究し、MUFASAの改善は、各データモダリティのモデリングをカスタマイズし、効果的な融合戦略を見つける能力から導かれる、実証的な証拠を提供する。

関連論文リスト

• Differentiable Multi-Fidelity Fusion: Efficient Learning of Physics Simulations with Neural Architecture Search and Transfer Learning [1.0024450637989093]
  ニューラル・アーキテクチャ・サーチ(NAS)を利用して、異なる問題に対する適切なモデル・アーキテクチャを自動的に探索する微分可能なmf(DMF)モデルを提案する。 DMFは、少数の高忠実度トレーニングサンプルで物理シミュレーションを効率よく学習することができ、最先端の手法よりも優れたマージンを持つ。
  論文  参考訳（メタデータ） (2023-06-12T07:18:13Z)
• An Empirical Study of Multimodal Model Merging [147.4978784843389]
  モデルマージは、異なるタスクでトレーニングされた複数のモデルを融合してマルチタスクソリューションを生成するテクニックである。 我々は、モダリティ固有のアーキテクチャのビジョン、言語、およびクロスモーダルトランスフォーマーをマージできる新しい目標に向けて研究を行っている。 本分析は,モダリティ非依存のベースラインの性能に適合する効果的なトレーニングレシピを導出する。
  論文  参考訳（メタデータ） (2023-04-28T15:43:21Z)
• Two heads are better than one: Enhancing medical representations by pre-training over structured and unstructured electronic health records [23.379185792773875]
  マルチモーダル EHR から代表的特徴を自動学習するために,UMM-PLM という,深層学習に基づく医用事前訓練言語モデルを提案する。 まず,各データソースから一助表現を別々に学習する一助情報表現モジュールを開発した。 異なるモジュラリティ間の相互作用をモデル化するために、クロスモーダルモジュールが導入された。
  論文  参考訳（メタデータ） (2022-01-25T06:14:49Z)
• SPIDER: Searching Personalized Neural Architecture for Federated Learning [17.61748275091843]
  フェデレーション・ラーニング(FL)は、プライバシと規制上の制約により、データが集中型サーバと共有できない場合、機械学習を支援する。 FLの最近の進歩は、すべてのクライアントに対して事前定義されたアーキテクチャベースの学習を使用する。 我々は、フェデレート学習のためのパーソナライズされたニューラルアーキテクチャの検索を目的としたアルゴリズムフレームワークであるSPIDERを紹介する。
  論文  参考訳（メタデータ） (2021-12-27T23:42:15Z)
• An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing [6.540879944736641]
  本稿では,マルチモーダル融合とニューラルアーキテクチャ探索を組み合わせた逐次モデルに基づく最適化手法を提案する。 得られたモデルが優れた性能を達成できることを示す2つの公開実データに対して,本手法の評価を行った。
  論文  参考訳（メタデータ） (2021-11-08T13:43:46Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• Differentiable Neural Architecture Search with Morphism-based Transformable Backbone Architectures [35.652234989200956]
  本研究の目的は,ワンショットトレーニングやオンライントレーニングにアーキテクチャ検索プロセスをより適応させることである。 ネットワークアソシエーションに基づいた、微分可能なニューラルアーキテクチャ探索のための成長メカニズムを導入している。 また、リカレントニューラルネットワークのための最近提案された2入力バックボーンアーキテクチャを実装した。
  論文  参考訳（メタデータ） (2021-06-14T07:56:33Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• CM-NAS: Cross-Modality Neural Architecture Search for Visible-Infrared Person Re-Identification [102.89434996930387]
  VI-ReIDは、暗い環境での単一モダリティ人物ReIDの制限を突破し、クロスモダリティ歩行者のイメージを一致させることを目指しています。 既存の作品は、さまざまな2ストリームアーキテクチャを手動で設計して、モダリティ固有およびモダリティシャーブル表現を別々に学習する。 CM-NAS(Cross-Modality Neural Architecture Search)という手法を提案する。
  論文  参考訳（メタデータ） (2021-01-21T07:07:00Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition [49.463864096615254]
  入力複雑性とモデル複雑性を含む学習複雑性の影響を分析する。 より浅層構造と低分解能入力データを探索する再帰畳み込みネットワーク(RCN)を提案する。 学習可能なパラメータを増やさなくてもRCNと統合できる3つのパラメータフリーモジュールを開発した。
  論文  参考訳（メタデータ） (2020-06-17T06:19:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。