論文の概要: Mortality Prediction Models with Clinical Notes Using Sparse Attention
at the Word and Sentence Levels
- arxiv url: http://arxiv.org/abs/2212.06267v1
- Date: Mon, 12 Dec 2022 22:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 13:35:48.135360
- Title: Mortality Prediction Models with Clinical Notes Using Sparse Attention
at the Word and Sentence Levels
- Title(参考訳): 単語・文レベルでの軽度注意を用いた臨床ノートによる死亡予測モデル
- Authors: Miguel Rios, Ameen Abu-Hanna
- Abstract要約: 臨床神経予測モデルにおける注意機構について,その識別と校正の観点から検討した。
具体的には, 病院内死亡予測の課題において, 重み付けの代替としてスパース・アテンションを考察した。
スパース機構のアプローチは、公開データセットによる予測性能において、局所的な自己アテンションにおいて、密な自己アテンションよりも優れていることを示す。
- 参考スコア(独自算出の注目度): 2.335152769484957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intensive Care in-hospital mortality prediction has various clinical
applications. Neural prediction models, especially when capitalising on
clinical notes, have been put forward as improvement on currently existing
models. However, to be acceptable these models should be performant and
transparent. This work studies different attention mechanisms for clinical
neural prediction models in terms of their discrimination and calibration.
Specifically, we investigate sparse attention as an alternative to dense
attention weights in the task of in-hospital mortality prediction from clinical
notes. We evaluate the attention mechanisms based on: i) local self-attention
over words in a sentence, and ii) global self-attention with a transformer
architecture across sentences. We demonstrate that the sparse mechanism
approach outperforms the dense one for the local self-attention in terms of
predictive performance with a publicly available dataset, and puts higher
attention to prespecified relevant directive words. The performance at the
sentence level, however, deteriorates as sentences including the influential
directive words tend to be dropped all together.
- Abstract(参考訳): 集中治療院死亡予測には様々な臨床応用がある。
ニューラル予測モデル、特に臨床ノートに注目する場合には、既存のモデルの改善が期待されている。
しかし、受け入れるにはこれらのモデルは高性能で透明でなければならない。
本研究は, 臨床神経予測モデルにおいて, 識別・校正の観点から異なる注意機構について検討する。
具体的には, 臨床ノートによる病院内死亡予測タスクにおける集中的注意重みの代替として, 軽度注意力について検討した。
我々は注意機構を次のように評価する。
一 文中の単語に対する局所的な自己注意、及び
二 文にまたがるトランスフォーマーアーキテクチャによるグローバルな自己注意
sparse機構アプローチは,公開データセットを用いた予測性能の観点で,局所的自己着想に対する密接なアプローチよりも優れており,事前定義された関連する指示語に対する注意が高まることを実証する。
しかし、文レベルのパフォーマンスは、影響力のある指示語を含む文をまとめてドロップする傾向があるため、悪化する。
関連論文リスト
- A Saliency-based Clustering Framework for Identifying Aberrant
Predictions [49.1574468325115]
本稿では, 異常予測の概念を導入し, 分類誤差の性質が頻度と同じくらい重要であることを強調した。
本稿では,誤分類率の低減と異常予測の識別を両立する,新しい,効率的なトレーニング手法を提案する。
本手法を獣医学の分野である獣医学の分野に応用し, 被曝率は高いが, 人体医学に比べて広く研究されていない。
論文 参考訳(メタデータ) (2023-11-11T01:53:59Z) - Perturbation-based Self-supervised Attention for Attention Bias in Text
Classification [31.144857032681905]
本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。
文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。
3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
論文 参考訳(メタデータ) (2023-05-25T03:18:18Z) - Bayesian Networks for the robust and unbiased prediction of depression
and its symptoms utilizing speech and multimodal data [65.28160163774274]
我々は,抑うつ,抑うつ症状,および,胸腺で収集された音声,表情,認知ゲームデータから得られる特徴の関連性を把握するためにベイズ的枠組みを適用した。
論文 参考訳(メタデータ) (2022-11-09T14:48:13Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳(メタデータ) (2022-06-16T17:59:05Z) - Clinical outcome prediction under hypothetical interventions -- a
representation learning framework for counterfactual reasoning [31.97813934144506]
本稿では,リスクモデルの組込み特性として,対実的説明の提供を考慮した新しい表現学習フレームワークを提案する。
提案する枠組みは, 研究者や臨床医がパーソナライズされたケアを改善するのに役立つ可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-15T09:41:16Z) - Enhanced Aspect-Based Sentiment Analysis Models with Progressive
Self-supervised Attention Learning [103.0064298630794]
アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。
注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。
提案手法を3つの最先端の神経ABSAモデルに統合する。
論文 参考訳(メタデータ) (2021-03-05T02:50:05Z) - EventScore: An Automated Real-time Early Warning Score for Clinical
Events [3.3039612529376625]
臨床劣化を示す各種臨床事象の早期予測のための解釈可能なモデルを構築した。
このモデルは2つのデータセットと4つの臨床イベントで評価される。
私達のモデルは手動で記録された特徴を要求しないで完全に自動化することができます。
論文 参考訳(メタデータ) (2021-02-11T11:55:08Z) - Clinical Outcome Prediction from Admission Notes using Self-Supervised
Knowledge Integration [55.88616573143478]
臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。
退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。
複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
論文 参考訳(メタデータ) (2021-02-08T10:26:44Z) - STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological
Regularization [76.57716281104938]
我々は,多くの地域の流行傾向を同時に予測するテンソル法を開発した。
stelarは離散時間差分方程式のシステムを通じて潜在時間正規化を組み込むことで長期予測を可能にする。
我々は、カウンティレベルと州レベルのCOVID-19データの両方を用いて実験を行い、このモデルが流行の興味深い潜伏パターンを識別できることを示します。
論文 参考訳(メタデータ) (2020-12-08T21:21:47Z) - Uncertainty estimation for classification and risk prediction on medical
tabular data [0.0]
本研究は,医療データの分類とリスク予測のための不確実性推定の理解を深めるものである。
医療などのデータ共有分野において、モデルの予測の不確実性を測定する能力は、意思決定支援ツールの改善につながる可能性がある。
論文 参考訳(メタデータ) (2020-04-13T08:46:41Z) - Hurtful Words: Quantifying Biases in Clinical Contextual Word Embeddings [16.136832979324467]
本研究は,MIMIC-III 病院データセットから医療用ノートにディープ埋め込みモデル(BERT)を事前訓練する。
文脈的単語埋め込みによって捉えられる危険な潜伏関係を同定する。
我々は,50以上の下流臨床予測課題において,フェアネスの定義の異なる性能ギャップを評価する。
論文 参考訳(メタデータ) (2020-03-11T23:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。