論文の概要: Deep Contextual Clinical Prediction with Reverse Distillation

• arxiv url: http://arxiv.org/abs/2007.05611v2
• Date: Thu, 17 Dec 2020 01:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 20:58:49.884736
• Title: Deep Contextual Clinical Prediction with Reverse Distillation
• Title（参考訳）: 逆蒸留による深部コンテクスト臨床予測
• Authors: Rohan S. Kodialam, Rebecca Boiarsky, Justin Lim, Neil Dixit, Aditya Sai, David Sontag
• Abstract要約: 本稿では,高性能線形モデルを用いて深部モデルの事前学習を行うReverse Distillationという新しい手法を提案する。 我々は、保険請求データセットの長手構造を利用して、逆蒸留(SARD)による自己注意(Self Attention with Reverse Distillation)を開発する。 SARDは、複数の臨床予測結果に対して最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 3.6700088931938835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Healthcare providers are increasingly using machine learning to predict patient outcomes to make meaningful interventions. However, despite innovations in this area, deep learning models often struggle to match performance of shallow linear models in predicting these outcomes, making it difficult to leverage such techniques in practice. In this work, motivated by the task of clinical prediction from insurance claims, we present a new technique called Reverse Distillation which pretrains deep models by using high-performing linear models for initialization. We make use of the longitudinal structure of insurance claims datasets to develop Self Attention with Reverse Distillation, or SARD, an architecture that utilizes a combination of contextual embedding, temporal embedding and self-attention mechanisms and most critically is trained via reverse distillation. SARD outperforms state-of-the-art methods on multiple clinical prediction outcomes, with ablation studies revealing that reverse distillation is a primary driver of these improvements. Code is available at https://github.com/clinicalml/omop-learn.
• Abstract（参考訳）: 医療プロバイダーは、機械学習を使って患者の結果を予測し、意味のある介入をしている。 しかしながら、この分野のイノベーションにもかかわらず、浅い線形モデルのパフォーマンスと一致することに苦慮するディープラーニングモデルが多く、そのようなテクニックを実際に活用することは困難である。 本研究は,保険請求項から臨床予測の課題を動機とし,初期化のための高パフォーマンス線形モデルを用いて深層モデルを事前学習する逆蒸留と呼ばれる新しい手法を提案する。 我々は, 保険請求データセットの縦断構造を用いて, 逆蒸留による自己注意を発達させ, 文脈埋め込み, 時間埋め込み, 自己照査機構を組み合わせたアーキテクチャであり, 逆蒸留によってもっとも重要な訓練を行う。 SARDは、複数の臨床予測結果に関する最先端の手法よりも優れており、逆蒸留がこれらの改善の原動力であることをアブレーション研究が明らかにしている。 コードはhttps://github.com/clinicalml/omop-learnで入手できる。

関連論文リスト

• Rethinking Backdoor Attacks on Dataset Distillation: A Kernel Method Perspective [65.70799289211868]
  本稿では, データセット蒸留に特化した2つの新しい理論駆動トリガパターン生成手法を提案する。 最適化に基づくトリガ設計フレームワークは,データセットの蒸留に対する効果的なバックドア攻撃を通知する。
  論文  参考訳（メタデータ） (2023-11-28T09:53:05Z)
• A Knowledge Distillation Approach for Sepsis Outcome Prediction from Multivariate Clinical Time Series [2.621671379723151]
  我々は、制約付き変分推論による知識蒸留を用いて、強力な「教師」ニューラルネットワークモデルの知識を蒸留する。 我々は「学生」潜在変数モデルを訓練し、解釈可能な隠れ状態表現を学習し、セシス結果予測のための高い予測性能を達成する。
  論文  参考訳（メタデータ） (2023-11-16T05:06:51Z)
• Online Distillation for Pseudo-Relevance Feedback [16.523925354318983]
  ニューラルリグレードの結果から,特定のクエリのモデルを効果的に抽出できるかどうかを検討する。 オンラインで蒸留された語彙モデルは、ニューラルネットワークの再ランク付けを合理的に再現できることがわかった。 さらに重要なのは、これらのモデルをインデックス上で効率的に実行するクエリとして使用することができることだ。
  論文  参考訳（メタデータ） (2023-06-16T07:26:33Z)
• Prediction of Post-Operative Renal and Pulmonary Complications Using Transformers [69.81176740997175]
  術後急性腎不全,肺合併症,院内死亡の予測におけるトランスフォーマーモデルの有用性について検討した。 以上の結果から,トランスフォーマーモデルにより術後合併症の予測や従来の機械学習モデルよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-06-01T14:08:05Z)
• LifeLonger: A Benchmark for Continual Disease Classification [59.13735398630546]
  MedMNISTコレクションの連続的な疾患分類のためのベンチマークであるLifeLongerを紹介する。 タスクとクラスでの病気の漸進的な学習は、モデルをスクラッチから再トレーニングすることなく、新しいサンプルを分類する問題に対処する。 クロスドメインインクリメンタル学習は、これまで得られた知識を維持しながら、異なる機関から派生したデータセットを扱う問題に対処する。
  論文  参考訳（メタデータ） (2022-04-12T12:25:05Z)
• Self Context and Shape Prior for Sensorless Freehand 3D Ultrasound Reconstruction [61.62191904755521]
  3DフリーハンドUSは、幅広い範囲とフリーフォームスキャンを提供することで、この問題に対処することを約束している。 既存のディープラーニングベースの手法は、スキルシーケンスの基本ケースのみに焦点を当てている。 複雑なスキルシーケンスを考慮したセンサレスフリーハンドUS再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-07-31T16:06:50Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• The unreasonable effectiveness of Batch-Norm statistics in addressing catastrophic forgetting across medical institutions [8.244654685687054]
  モデル改良と事前学習した知識の保持のトレードオフについて検討する。 本稿では,従来のデータセットのグローバルバッチ正規化統計値を用いて,弾性重み付け(EWC)を適応する,単純で効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-11-16T16:57:05Z)
• Bidirectional Representation Learning from Transformers using Multimodal Electronic Health Record Data to Predict Depression [11.1492931066686]
  うつ病の予測のために,ERHシーケンス上で双方向の表現学習を行うための時間的深層学習モデルを提案する。 このモデルでは, 曲線(PRAUC)下において, 最良ベースラインモデルと比較して, 抑うつ予測において0.70から0.76まで, 精度・リコール面積の最大値が得られた。
  論文  参考訳（メタデータ） (2020-09-26T17:56:37Z)
• Automatic Data Augmentation via Deep Reinforcement Learning for Effective Kidney Tumor Segmentation [57.78765460295249]
  医用画像セグメンテーションのための新しい学習ベースデータ拡張法を開発した。 本手法では,データ拡張モジュールと後続のセグメンテーションモジュールをエンドツーエンドのトレーニング方法で一貫した損失と,革新的に組み合わせる。 提案法の有効性を検証したCT腎腫瘍分節法について,本法を広範囲に評価した。
  論文  参考訳（メタデータ） (2020-02-22T14:10:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。