論文の概要: On Adversarial Examples for Biomedical NLP Tasks

• arxiv url: http://arxiv.org/abs/2004.11157v1
• Date: Thu, 23 Apr 2020 13:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 08:51:45.364809
• Title: On Adversarial Examples for Biomedical NLP Tasks
• Title（参考訳）: バイオメディカルNLPタスクの逆例について
• Authors: Vladimir Araujo, Andres Carvallo, Carlos Aspillaga and Denis Parra
• Abstract要約: 医療用NERとSTSのための2つのよく知られたデータセットに対する逆評価手法を提案する。 逆例を用いてモデルをトレーニングすることで,モデルの堅牢性を大幅に向上できることを示す。
• 参考スコア（独自算出の注目度）: 4.7677261488999205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of pre-trained word embeddings has motivated its use in tasks in the biomedical domain. The BERT language model has shown remarkable results on standard performance metrics in tasks such as Named Entity Recognition (NER) and Semantic Textual Similarity (STS), which has brought significant progress in the field of NLP. However, it is unclear whether these systems work seemingly well in critical domains, such as legal or medical. For that reason, in this work, we propose an adversarial evaluation scheme on two well-known datasets for medical NER and STS. We propose two types of attacks inspired by natural spelling errors and typos made by humans. We also propose another type of attack that uses synonyms of medical terms. Under these adversarial settings, the accuracy of the models drops significantly, and we quantify the extent of this performance loss. We also show that we can significantly improve the robustness of the models by training them with adversarial examples. We hope our work will motivate the use of adversarial examples to evaluate and develop models with increased robustness for medical tasks.
• Abstract（参考訳）: 事前訓練された単語埋め込みの成功は、生体医学領域におけるタスクにおけるその使用を動機付けている。 BERT言語モデルは、名前付きエンティティ認識(NER)やセマンティックテキスト類似性(STS)といったタスクにおける標準的なパフォーマンス指標に顕著な結果を示し、NLPの分野で大きな進歩をもたらした。 しかし、これらのシステムが法律や医学などの重要な領域でうまく機能しているかは不明である。 そこで本研究では,医療用ner と sts の2つのよく知られたデータセットに関する敵意評価手法を提案する。 自然の綴り誤りと人間によるタイプミスに触発された2種類の攻撃を提案する。 また,医療用語の同義語を用いる別の攻撃法を提案する。 これらの逆条件下では、モデルの精度は著しく低下し、この性能損失の程度を定量化する。 また, モデルの頑健性を, 逆例を用いてトレーニングすることで, 大幅に改善できることを示す。 私たちの研究が、医療タスクの堅牢性を高めたモデルの評価と開発に、敵対的な例の使用を動機付けることを期待しています。

関連論文リスト

• On Evaluating Adversarial Robustness of Volumetric Medical Segmentation Models [59.45628259925441]
  体積医学セグメンテーションモデルは、臓器および腫瘍ベースのセグメンテーションタスクにおいて大きな成功を収めた。 敵の攻撃に対するその脆弱性はほとんど解明されていない。 このことは、既存のモデルの堅牢性を調べることの重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-12T17:59:42Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• SA-Attack: Improving Adversarial Transferability of Vision-Language Pre-training Models via Self-Augmentation [56.622250514119294]
  ホワイトボックスの敵攻撃とは対照的に、転送攻撃は現実世界のシナリオをより反映している。 本稿では,SA-Attackと呼ばれる自己拡張型転送攻撃手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:08:50Z)
• How far is Language Model from 100% Few-shot Named Entity Recognition in Medical Domain [14.635536657783613]
  本研究の目的は、医療領域における100%Few-shot NERのLMのパフォーマンスを比較して、医療領域における100%Few-shot NERのLMのパフォーマンスについて答えることである。 以上の結果から, LLMは, 適切な例や適切な論理的枠組みの存在から, 数発のNERタスクにおいてSLMよりも優れていたことが示唆された。 本研究では, 検索者, 関連事例, 思考者として機能し, ステップ・バイ・ステップの推論プロセスを採用する,textscRT (Retrieving and Thinking) という, シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-01T01:18:09Z)
• Detecting Adversarial Examples in Batches -- a geometrical approach [0.0]
  本稿では,2つの幾何学的測度,密度とカバレッジを導入し,不明瞭なデータのバッチにおける対数サンプルの検出におけるそれらの使用性を評価する。 MNISTとMedMNISTの2つの実世界のバイオメディカルデータセットを用いて、これらの指標を実証的に研究し、2つの異なる敵攻撃を受けた。 本実験は,両指標が敵対例を検出するための有望な結果を示す。
  論文  参考訳（メタデータ） (2022-06-17T12:52:43Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• Stress Test Evaluation of Biomedical Word Embeddings [3.8376078864105425]
  逆例を用いた3つの言語モデルを体系的に評価する。 逆行訓練により、モデルが頑健さを向上し、場合によっては本来の性能を超越する結果が得られます。
  論文  参考訳（メタデータ） (2021-07-24T16:45:03Z)
• BBAEG: Towards BERT-based Biomedical Adversarial Example Generation for Text Classification [1.14219428942199]
  バイオメディカルテキスト分類のためのブラックボックス攻撃アルゴリズムであるBBAEG(Biomedical BERT-based Adversarial Example Generation)を提案する。 我々は,BBAEGがより優れた言語流布,セマンティック・コヒーレンス(セマンティック・コヒーレンス)でより強力な攻撃を行うことを示す。
  論文  参考訳（メタデータ） (2021-04-05T05:32:56Z)
• NUVA: A Naming Utterance Verifier for Aphasia Treatment [49.114436579008476]
  失語症(PWA)患者の治療介入に対する反応の診断とモニタリングの両立のための画像命名タスクを用いた音声性能評価 本稿では,失語症脳卒中患者の「正しい」と「正しくない」を分類する深層学習要素を組み込んだ発話検証システムであるNUVAについて述べる。 イギリス系英語8ヶ国語でのテストでは、システムの性能精度は83.6%から93.6%の範囲であり、10倍のクロスバリデーション平均は89.5%であった。
  論文  参考訳（メタデータ） (2021-02-10T13:00:29Z)
• Domain specific BERT representation for Named Entity Recognition of lab protocol [0.0]
  BERTファミリーは、NERタグ付けから他の言語タスクの範囲まで、下流タスクで非常にうまく機能しているようだ。 本稿では,Bio-Bertに基づく名前付きエンティティタグ作成システムについて述べる。
  論文  参考訳（メタデータ） (2020-12-21T06:54:38Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。