Fugu-MT 論文翻訳(概要): Evaluating the Robustness of Adverse Drug Event Classification Models Using Templates

論文の概要: Evaluating the Robustness of Adverse Drug Event Classification Models Using Templates

arxiv url: http://arxiv.org/abs/2407.02432v1
Date: Tue, 2 Jul 2024 17:09:24 GMT
ステータス: 処理完了
システム内更新日: 2024-07-03 14:27:11.838557
Title: Evaluating the Robustness of Adverse Drug Event Classification Models Using Templates
Title（参考訳）: テンプレートを用いた逆薬物事象分類モデルのロバスト性評価
Authors: Dorothea MacPhail, David Harbecke, Lisa Raithel, Sebastian Möller,
Abstract要約: 副作用 (ADE) は、薬物治療によって引き起こされる有害事象である。その重要性にもかかわらず、ADEはしばしば公式チャンネルで報告されていない。ソーシャルメディアにおけるADEの議論を検出する研究もある。
参考スコア（独自算出の注目度）: 11.276505487445782
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: An adverse drug effect (ADE) is any harmful event resulting from medical drug treatment. Despite their importance, ADEs are often under-reported in official channels. Some research has therefore turned to detecting discussions of ADEs in social media. Impressive results have been achieved in various attempts to detect ADEs. In a high-stakes domain such as medicine, however, an in-depth evaluation of a model's abilities is crucial. We address the issue of thorough performance evaluation in English-language ADE detection with hand-crafted templates for four capabilities: Temporal order, negation, sentiment, and beneficial effect. We find that models with similar performance on held-out test sets have varying results on these capabilities.
Abstract（参考訳）: 副作用 (ADE) は、薬物治療によって引き起こされる有害事象である。その重要性にもかかわらず、ADEはしばしば公式チャンネルで報告されていない。そのため、ソーシャルメディアにおけるADEの議論を検出する研究もある。 ADEを検出する様々な試みで印象的な結果が得られた。しかし、医学などの高度な領域では、モデルの能力の詳細な評価が不可欠である。本研究は,手作りテンプレートを用いた英語ADE検出における時間順,否定,感情,有意義な効果の4つの特徴について,徹底的な性能評価の課題に対処する。ホールドアウトテストセットに類似した性能を持つモデルでは,これらの機能について様々な結果が得られた。

関連論文リスト

Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文参考訳（メタデータ） (2024-10-02T07:14:26Z)
Towards Within-Class Variation in Alzheimer's Disease Detection from Spontaneous Speech [60.08015780474457]
アルツハイマー病(AD)の検出は、機械学習の分類モデルを使用する有望な研究領域として浮上している。我々は、AD検出において、クラス内変異が重要な課題であると考え、ADを持つ個人は認知障害のスペクトルを示す。本稿では,ソフトターゲット蒸留 (SoTD) とインスタンスレベルの再分散 (InRe) の2つの新しい手法を提案する。
論文参考訳（メタデータ） (2024-09-22T02:06:05Z)
Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文参考訳（メタデータ） (2024-02-27T13:49:12Z)
Leveraging Pretrained Representations with Task-related Keywords for Alzheimer's Disease Detection [69.53626024091076]
アルツハイマー病(AD)は高齢者に特に顕著である。事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
論文参考訳（メタデータ） (2023-03-14T16:03:28Z)
Increasing Adverse Drug Events extraction robustness on social media: case study on negation and speculation [7.052238842788185]
過去10年間で、ソーシャルメディアプラットフォーム上でAdverse Drug Events(ADE)を報告するユーザーが増えている。本稿では,ソーシャルメディア上でのADE検出のための4つの最先端システムについて考察する。我々は,否定的および推測されたADEを含むサンプルに対して,それらの性能をテストするベンチマークであるSNAXを紹介する。
論文参考訳（メタデータ） (2022-09-06T20:38:42Z)
Assessment of contextualised representations in detecting outcome phrases in clinical trials [14.584741378279316]
本稿では,300 PubMed の要約を専門的に注釈付けしたデータセット "EBM-COMET" を紹介する。結果の抽出には,事前学習した文脈表現を微調整する。ベストモデル(BioBERT)は81.5%のF1、81.3%の感度、98.0%の特異性を達成している。
論文参考訳（メタデータ） (2022-02-13T15:08:00Z)
Explaining medical AI performance disparities across sites with confounder Shapley value analysis [8.785345834486057]
マルチサイト評価は、このような格差を診断する鍵となる。本フレームワークは,各種類のバイアスが全体の性能差に与える影響を定量化する手法を提供する。本研究は, 深部学習モデルを用いて気胸の有無を検知し, その有用性を実証するものである。
論文参考訳（メタデータ） (2021-11-12T18:54:10Z)
NADE: A Benchmark for Robust Adverse Drug Events Extraction in Face of Negations [8.380439657099906]
逆薬物イベント (ADE) 抽出法は, いわゆるメディアテキストの大量収集を迅速に調査し, 薬物関連副作用の言及を検知し, 医学的調査を誘発する。近年のNLPのアドバンスにもかかわらず、そのようなモデルが言語品種にまたがって普及する傾向にあるにもかかわらず、そのようなモデルが頑丈であるかどうかは現在不明である。本稿では,3つの最先端システムの評価を行い,ネガイオンに対する脆弱性を示すとともに,これらのモジュールの堅牢性を高めるための2つのストラテジーを提案する。
論文参考訳（メタデータ） (2021-09-21T10:33:29Z)
Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
論文参考訳（メタデータ） (2020-12-10T16:55:13Z)
How Robust are the Estimated Effects of Nonpharmaceutical Interventions against COVID-19? [46.28845358816497]
現状NPIの有効性モデルを2つ検討し, 構造的仮定の異なる6つの変種を提案する。我々は,NPIの有効性評価が未確認の国にどのように一般化するか,および未観測の要因に対する感受性について検討した。我々は、ある共通仮定が成り立たない場合に、NPIの有効性推定の解釈を数学的に基礎とする。
論文参考訳（メタデータ） (2020-07-27T11:49:54Z)
On Adversarial Examples for Biomedical NLP Tasks [4.7677261488999205]
医療用NERとSTSのための2つのよく知られたデータセットに対する逆評価手法を提案する。逆例を用いてモデルをトレーニングすることで,モデルの堅牢性を大幅に向上できることを示す。
論文参考訳（メタデータ） (2020-04-23T13:46:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。