論文の概要: Learning to Adapt Clinical Sequences with Residual Mixture of Experts

• arxiv url: http://arxiv.org/abs/2204.02687v1
• Date: Wed, 6 Apr 2022 09:23:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 14:20:23.163375
• Title: Learning to Adapt Clinical Sequences with Residual Mixture of Experts
• Title（参考訳）: 専門家の残差混合による臨床シーケンス適応の学習
• Authors: Jeong Min Lee and Milos Hauskrecht
• Abstract要約: 全患者の複雑な動態を表現するために,Mixture-of-Experts (MoE)アーキテクチャを提案する。 アーキテクチャは、患者サブポピュレーションをカバーし、ベースモデルの予測を精査する複数の(専門的な)RNNモデルで構成されている。 一つのRNN予測と比較すると, AUPRC統計は4.1%向上した。
• 参考スコア（独自算出の注目度）: 12.881413375147996
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Clinical event sequences in Electronic Health Records (EHRs) record detailed information about the patient condition and patient care as they occur in time. Recent years have witnessed increased interest of machine learning community in developing machine learning models solving different types of problems defined upon information in EHRs. More recently, neural sequential models, such as RNN and LSTM, became popular and widely applied models for representing patient sequence data and for predicting future events or outcomes based on such data. However, a single neural sequential model may not properly represent complex dynamics of all patients and the differences in their behaviors. In this work, we aim to alleviate this limitation by refining a one-fits-all model using a Mixture-of-Experts (MoE) architecture. The architecture consists of multiple (expert) RNN models covering patient sub-populations and refining the predictions of the base model. That is, instead of training expert RNN models from scratch we define them on the residual signal that attempts to model the differences from the population-wide model. The heterogeneity of various patient sequences is modeled through multiple experts that consist of RNN. Particularly, instead of directly training MoE from scratch, we augment MoE based on the prediction signal from pretrained base GRU model. With this way, the mixture of experts can provide flexible adaptation to the (limited) predictive power of the single base RNN model. We experiment with the newly proposed model on real-world EHRs data and the multivariate clinical event prediction task. We implement RNN using Gated Recurrent Units (GRU). We show 4.1% gain on AUPRC statistics compared to a single RNN prediction.
• Abstract（参考訳）: EHR(Electronic Health Records)における臨床イベントシーケンスは、患者の状態や患者のケアに関する詳細な情報を記録する。 近年、EHRの情報に基づいて定義されたさまざまなタイプの問題を解決する機械学習モデルの開発において、機械学習コミュニティの関心が高まっている。 近年では、rnnやlstmなどのニューラルシーケンシャルモデルが普及し、患者シーケンシャルデータを表現し、そのようなデータに基づいて将来の出来事や結果を予測するための広く応用されたモデルとなった。 しかし、単一の神経シーケンシャルモデルでは、すべての患者の複雑なダイナミクスと、その行動の違いを適切に表現することはできない。 本研究は,Mixture-of-Experts (MoE) アーキテクチャを用いて,一相一相モデルを精製することにより,この制限を軽減することを目的とする。 アーキテクチャは、患者サブ人口をカバーする複数の(専門的な)RNNモデルで構成され、ベースモデルの予測を精査する。 すなわち、スクラッチから専門家RNNモデルを訓練する代わりに、人口全体モデルの違いをモデル化しようとする残留信号に基づいてそれらを定義します。 様々な患者系列の多様性は、rnnからなる複数の専門家によってモデル化される。 特に,MoEをゼロから直接訓練する代わりに,事前学習ベースGRUモデルからの予測信号に基づいてMoEを増強する。 これにより、専門家の混合は単一のベースrnnモデルの(限られた)予測能力に柔軟に適応することができる。 実世界のERHデータに基づく新しいモデルと多変量臨床イベント予測タスクを実験した。 Gated Recurrent Units (GRU)を用いてRNNを実装した。 一つのRNN予測と比較すると, AUPRC統計は4.1%向上した。

関連論文リスト

• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Continuous time recurrent neural networks: overview and application to forecasting blood glucose in the intensive care unit [56.801856519460465]
  連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。 重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
  論文  参考訳（メタデータ） (2023-04-14T09:39:06Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• Satellite Anomaly Detection Using Variance Based Genetic Ensemble of Neural Networks [7.848121055546167]
  複数のリカレントニューラルネットワーク(RNN)からの予測の効率的なアンサンブルを用いる。 予測のために、各RNNモデルに対して最適な構造を構築する遺伝的アルゴリズム(GA)によって、各RNNを導出する。 本稿では,BNNの近似版としてモンテカルロ(MC)ドロップアウトを用いる。
  論文  参考訳（メタデータ） (2023-02-10T22:09:00Z)
• Bridging the Gap Between Patient-specific and Patient-independent Seizure Prediction via Knowledge Distillation [7.2666838978096875]
  既存のアプローチは通常、てんかんの信号の高度にパーソナライズされた特性のために、患者固有の方法でモデルを訓練する。 患者固有のモデルは、蒸留された知識と追加のパーソナライズされたデータによって得られる。 提案手法を用いて,CHB-MIT sEEGデータベース上で5つの最先端の発作予測法を訓練する。
  論文  参考訳（メタデータ） (2022-02-25T10:30:29Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Mixed Effects Neural ODE: A Variational Approximation for Analyzing the Dynamics of Panel Data [50.23363975709122]
  パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。 我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。 次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2022-02-18T22:41:51Z)
• Simple Recurrent Neural Networks is all we need for clinical events predictions using EHR data [22.81278657120305]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、EHRに基づく臨床イベント予測モデルのための一般的なアーキテクチャである。 心不全の発症リスクと入院早期入院のリスクの2つの予測課題を用いた。 GRUやLSTMなどの単純なゲート付きRNNモデルでは,ベイズ最適化を適切に調整した場合に,しばしば競合する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-03T13:07:23Z)
• Interpretable Additive Recurrent Neural Networks For Multivariate Clinical Time Series [4.125698836261585]
  本稿では,モデル内の変数間の関係を加法的に強制することで,モデルの複雑性と精度のバランスをとるInterpretable-RNN(I-RNN)を提案する。 I-RNNは、時間内に不均一にサンプリングされ、非同期に取得され、データが欠落している臨床時系列の特徴を特に捉えている。 本研究は,院内死亡率予測のためのPhysoronet 2012 ChallengeデータセットのI-RNNモデルと,集中治療室における血行動態の介入を予測するリアルな臨床診断支援タスクについて評価する。
  論文  参考訳（メタデータ） (2021-09-15T22:30:19Z)
• Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug Response [49.86828302591469]
  本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。 我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。 アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
  論文  参考訳（メタデータ） (2020-05-13T20:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。