論文の概要: Deep learning models are not robust against noise in clinical text
- arxiv url: http://arxiv.org/abs/2108.12242v1
- Date: Fri, 27 Aug 2021 12:47:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-30 14:24:36.406914
- Title: Deep learning models are not robust against noise in clinical text
- Title（参考訳）: 深層学習モデルは臨床テキストのノイズに対して堅牢ではない
- Authors: Milad Moradi, Kathrin Blagec, Matthias Samwald
- Abstract要約: 臨床テキストデータに様々な種類のノイズや変動性をシミュレートする様々な摂動法を導入,実装する。
文字レベルおよび単語レベルの様々なノイズに対する高性能NLPモデルのロバスト性を評価する。
- 参考スコア（独自算出の注目度）: 6.158031973715943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Intelligence (AI) systems are attracting increasing interest in
the medical domain due to their ability to learn complicated tasks that require
human intelligence and expert knowledge. AI systems that utilize
high-performance Natural Language Processing (NLP) models have achieved
state-of-the-art results on a wide variety of clinical text processing
benchmarks. They have even outperformed human accuracy on some tasks. However,
performance evaluation of such AI systems have been limited to accuracy
measures on curated and clean benchmark datasets that may not properly reflect
how robustly these systems can operate in real-world situations. In order to
address this challenge, we introduce and implement a wide variety of
perturbation methods that simulate different types of noise and variability in
clinical text data. While noisy samples produced by these perturbation methods
can often be understood by humans, they may cause AI systems to make erroneous
decisions. Conducting extensive experiments on several clinical text processing
tasks, we evaluated the robustness of high-performance NLP models against
various types of character-level and word-level noise. The results revealed
that the NLP models performance degrades when the input contains small amounts
of noise. This study is a significant step towards exposing vulnerabilities of
AI models utilized in clinical text processing systems. The proposed
perturbation methods can be used in performance evaluation tests to assess how
robustly clinical NLP models can operate on noisy data, in real-world settings.
- Abstract（参考訳）: 人工知能(AI)システムは、人間の知性と専門知識を必要とする複雑なタスクを学習する能力によって、医療分野への関心が高まっている。
高性能自然言語処理(NLP)モデルを利用するAIシステムは、様々な臨床テキスト処理ベンチマークで最先端の結果を得た。
いくつかのタスクでは人間の精度よりも優れています。
しかし、このようなAIシステムの性能評価は、実際の状況においてこれらのシステムがいかに堅牢に動作できるかを適切に反映しない、キュレートされたクリーンなベンチマークデータセットの精度測定に限られている。
この課題に対処するために,臨床テキストデータにおける様々な種類のノイズや変動性をシミュレートする多種多様な摂動法を導入,実装する。
これらの摂動法によって生成される騒がしいサンプルは、しばしば人間が理解することができるが、aiシステムが誤った決定を下す可能性がある。
臨床テキスト処理タスクにおける広範囲な実験を行い,各種文字レベルおよび単語レベルのノイズに対する高性能NLPモデルのロバスト性を評価した。
その結果,NLPモデルの性能は,少量のノイズを含むと劣化することがわかった。
この研究は、臨床テキスト処理システムで使用されるAIモデルの脆弱性を明らかにするための重要なステップである。
提案手法は, 実環境において, ノイズの多いデータでNLPモデルがいかに頑健に動作できるかを評価するために, 性能評価試験に使用することができる。
関連論文リスト
- Fine-tuning -- a Transfer Learning approach [0.22344294014777952]
電子健康記録(EHR)の欠落は、この貴重な資源に欠落するデータが豊富にあるため、しばしば妨げられる。
既存の深い計算手法は、計算処理とダウンストリーム解析の両方を組み込んだエンドツーエンドのパイプラインに依存している。
本稿では,モジュール型深層学習型計算・分類パイプラインの開発について検討する。
論文 参考訳（メタデータ） (2024-11-06T14:18:23Z) - How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。
一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。
我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-10-04T13:39:21Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳（メタデータ） (2023-06-13T12:43:59Z) - Importance of methodological choices in data manipulation for validating
epileptic seizure detection models [4.538319875483978]
てんかん(てんかん、英: Epilepsy)は、慢性神経疾患であり、ヒトのかなりの部分に影響し、患者の日常生活に深刻なリスクを負う。
マシンラーニングとIoTの進歩にもかかわらず、継続的に監視し、外来環境で検出する、小規模で非スティグマティックなウェアラブルデバイスはまだ利用できない。
理由の1つはてんかん自体の複雑さであり、高度に不均衡なデータ、マルチモーダルな性質、非常に主題固有の署名を含んでいる。
本稿では,てんかん検出システムの性能を訓練・評価する際に行うべき方法論的判断について述べる。
論文 参考訳（メタデータ） (2023-02-21T13:44:13Z) - On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。
まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
論文 参考訳（メタデータ） (2023-02-05T01:39:21Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - Improving the robustness and accuracy of biomedical language models
through adversarial training [7.064032374579076]
ディープトランスフォーマーニューラルネットワークモデルは、生物医学領域におけるインテリジェントテキスト処理システムの予測精度を改善した。
ニューラルNLPモデルは、テキストの意味と理解性を保持するが、NLPシステムに誤った判断を強要する入力に対する小さな変更など、敵対的なサンプルによって簡単に騙される。
これにより、バイオメディカルNLPシステムのセキュリティと信頼性に対する深刻な懸念が生じる。
論文 参考訳（メタデータ） (2021-11-16T14:58:05Z) - Understanding Model Robustness to User-generated Noisy Texts [2.958690090551675]
NLPでは、スペルエラーなどの自然発生ノイズによってモデル性能が劣化することが多い。
本稿では,文法的誤り訂正コーパスから統計的に誤りをモデル化する。
論文 参考訳（メタデータ） (2021-10-14T14:54:52Z) - Evaluating the Robustness of Neural Language Models to Input
Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。
本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。
その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文 参考訳（メタデータ） (2021-08-27T12:31:17Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳（メタデータ） (2021-04-13T17:54:33Z) - High Dimensional Level Set Estimation with Bayesian Neural Network [58.684954492439424]
本稿では,ベイズニューラルネットワークを用いた高次元レベル集合推定問題を解く新しい手法を提案する。
各問題に対して対応する理論情報に基づく取得関数を導出してデータポイントをサンプリングする。
合成データセットと実世界データセットの数値実験により,提案手法は既存手法よりも優れた結果が得られることが示された。
論文 参考訳（メタデータ） (2020-12-17T23:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。