論文の概要: Improving the robustness and accuracy of biomedical language models
through adversarial training
- arxiv url: http://arxiv.org/abs/2111.08529v1
- Date: Tue, 16 Nov 2021 14:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 13:30:39.258530
- Title: Improving the robustness and accuracy of biomedical language models
through adversarial training
- Title(参考訳): 対人訓練によるバイオメディカル言語モデルの堅牢性と精度の向上
- Authors: Milad Moradi, Matthias Samwald
- Abstract要約: ディープトランスフォーマーニューラルネットワークモデルは、生物医学領域におけるインテリジェントテキスト処理システムの予測精度を改善した。
ニューラルNLPモデルは、テキストの意味と理解性を保持するが、NLPシステムに誤った判断を強要する入力に対する小さな変更など、敵対的なサンプルによって簡単に騙される。
これにより、バイオメディカルNLPシステムのセキュリティと信頼性に対する深刻な懸念が生じる。
- 参考スコア(独自算出の注目度): 7.064032374579076
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep transformer neural network models have improved the predictive accuracy
of intelligent text processing systems in the biomedical domain. They have
obtained state-of-the-art performance scores on a wide variety of biomedical
and clinical Natural Language Processing (NLP) benchmarks. However, the
robustness and reliability of these models has been less explored so far.
Neural NLP models can be easily fooled by adversarial samples, i.e. minor
changes to input that preserve the meaning and understandability of the text
but force the NLP system to make erroneous decisions. This raises serious
concerns about the security and trust-worthiness of biomedical NLP systems,
especially when they are intended to be deployed in real-world use cases. We
investigated the robustness of several transformer neural language models, i.e.
BioBERT, SciBERT, BioMed-RoBERTa, and Bio-ClinicalBERT, on a wide range of
biomedical and clinical text processing tasks. We implemented various
adversarial attack methods to test the NLP systems in different attack
scenarios. Experimental results showed that the biomedical NLP models are
sensitive to adversarial samples; their performance dropped in average by 21
and 18.9 absolute percent on character-level and word-level adversarial noise,
respectively. Conducting extensive adversarial training experiments, we
fine-tuned the NLP models on a mixture of clean samples and adversarial inputs.
Results showed that adversarial training is an effective defense mechanism
against adversarial noise; the models robustness improved in average by 11.3
absolute percent. In addition, the models performance on clean data increased
in average by 2.4 absolute present, demonstrating that adversarial training can
boost generalization abilities of biomedical NLP systems.
- Abstract(参考訳): ディープトランスニューラルネットワークモデルは、生物医学領域におけるインテリジェントテキスト処理システムの予測精度を改善した。
彼らは様々なバイオメディカルおよび臨床自然言語処理(NLP)ベンチマークで最先端のパフォーマンススコアを得た。
しかし、これらのモデルの堅牢性や信頼性は、これまであまり調査されていない。
ニューラルNLPモデルは、テキストの意味と理解性を保持するが、NLPシステムに誤った判断を強要する入力に対する小さな変更など、敵対的なサンプルによって簡単に騙される。
これにより、バイオメディカルNLPシステムのセキュリティと信頼性に関する深刻な懸念が生まれ、特に現実世界のユースケースにデプロイされることを意図している。
生体医用および臨床用テキスト処理タスクにおいて,BioBERT,SciBERT,BioMed-RoBERTa,Bio-ClinicalBERTなどのトランスフォーマーニューラルネットワークモデルの堅牢性を検討した。
我々は,異なる攻撃シナリオでNLPシステムをテストするために,様々な敵攻撃手法を実装した。
実験の結果, バイオメディカルなNLPモデルは, 対人的サンプルに敏感であり, 平均して21.9%, 対人的ノイズに18.9%低下した。
広範囲な敵意訓練実験を行い, クリーンサンプルと敵意入力を混合してnlpモデルを微調整した。
その結果、対向訓練は対向音に対する効果的な防御機構であり、モデルの堅牢性は平均11.3%向上した。
さらに, クリーンデータのモデル性能は平均2.4絶対値で向上し, バイオメディカルNLPシステムの一般化能力を高めることが実証された。
関連論文リスト
- Improving Biomedical Entity Linking with Retrieval-enhanced Learning [53.24726622142558]
$k$NN-BioELは、トレーニングコーパス全体から同様のインスタンスを予測のヒントとして参照する機能を備えたBioELモデルを提供する。
k$NN-BioELは、いくつかのデータセットで最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2023-12-15T14:04:23Z) - Intrinsic Biologically Plausible Adversarial Training [5.903352816695636]
逆行訓練はこの問題を軽減することが証明されているが、高い計算コストが伴う。
ANNとは対照的に、人間は同じ敵のサンプルを誤分類することは許されない。
PEPITAは内向的対向性が高く、対向的に訓練された場合には、より好ましい自然対逆的パフォーマンストレードオフを持つ。
論文 参考訳(メタデータ) (2023-09-29T15:55:17Z) - Bio+Clinical BERT, BERT Base, and CNN Performance Comparison for
Predicting Drug-Review Satisfaction [0.0]
我々は、BERTベースモデル、Bio+Clinical BERT、シンプルなCNNなど、いくつかの分類モデルを実装し、評価する。
以上の結果から,医療領域固有のBio+Clinical BERTモデルは,一般ドメインベースBERTモデルよりも有意に優れていた。
将来の研究は、各モデルの具体的な強みをどのように活用するかを探るかもしれない。
論文 参考訳(メタデータ) (2023-08-02T20:01:38Z) - Can Domain Adaptation Improve Accuracy and Fairness of Skin Lesion
Classification? [55.49029146917322]
各種非教師付き領域適応法(UDA)の2値・多値皮膚病変分類における適用可能性について検討した。
実験の結果,UDAは二分分類に有効であり,不均衡が緩和された場合にはさらなる改善が見られた。
本研究は,少数派に対する偏見を効果的に低減し,公平性を重視したテクニックを明示的に用いなくても公平性を促進できることを示した。
論文 参考訳(メタデータ) (2023-07-06T17:32:38Z) - Fine-Tuning Large Neural Language Models for Biomedical Natural Language
Processing [55.52858954615655]
バイオメディカルNLPの微調整安定性に関する系統的研究を行った。
我々は、特に低リソース領域において、微調整性能は事前トレーニング設定に敏感であることを示した。
これらの技術は低リソースバイオメディカルNLPアプリケーションの微調整性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:20:35Z) - Deep learning models are not robust against noise in clinical text [6.158031973715943]
臨床テキストデータに様々な種類のノイズや変動性をシミュレートする様々な摂動法を導入,実装する。
文字レベルおよび単語レベルの様々なノイズに対する高性能NLPモデルのロバスト性を評価する。
論文 参考訳(メタデータ) (2021-08-27T12:47:19Z) - Extracting Chemical-Protein Interactions via Calibrated Deep Neural
Network and Self-training [0.8376091455761261]
データ不確実性を推定し、信頼性を向上させるため、ディープラーニングモデルに"校正"技術が適用されている。
本研究では, 化学物質-タンパク質相互作用を抽出するために, 不確実性情報とキャリブレーション手法を取り入れたDNNベースの手法を提案する。
我々の手法は,従来の手法よりも高い校正能力を維持しつつ,Biocreative VI ChemProtタスクに関して最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2020-11-04T10:14:31Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z) - CovidDeep: SARS-CoV-2/COVID-19 Test Based on Wearable Medical Sensors
and Efficient Neural Networks [51.589769497681175]
新型コロナウイルス(SARS-CoV-2)がパンデミックを引き起こしている。
SARS-CoV-2の逆転写-ポリメラーゼ連鎖反応に基づく現在の試験体制は、試験要求に追いついていない。
我々は,効率的なDNNと市販のWMSを組み合わせたCovidDeepというフレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-20T21:47:28Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳(メタデータ) (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。