Fugu-MT 論文翻訳(概要): On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations

論文の概要: On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations

arxiv url: http://arxiv.org/abs/2201.00318v1
Date: Sun, 2 Jan 2022 08:33:49 GMT
ステータス: 処理完了
システム内更新日: 2022-01-04 13:13:00.619625
Title: On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations
Title（参考訳）: 深層学習に基づくテキスト分類アルゴリズムの実用的入力摂動に対する感度について
Authors: Aamir Miyajiwala, Arnav Ladkat, Samiksha Jagadale, Raviraj Joshi
Abstract要約: 深層学習に基づくテキスト分類モデルの性能に及ぼす系統的な実践的摂動の影響を評価する。摂動は、句読や停止語のような望ましくないトークンの追加と削除によって引き起こされる。 BERTを含むこれらの深層学習アプローチは、4つの標準ベンチマークデータセットにおいて、そのような正当な入力摂動に敏感であることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Text classification is a fundamental Natural Language Processing task that has a wide variety of applications, where deep learning approaches have produced state-of-the-art results. While these models have been heavily criticized for their black-box nature, their robustness to slight perturbations in input text has been a matter of concern. In this work, we carry out a data-focused study evaluating the impact of systematic practical perturbations on the performance of the deep learning based text classification models like CNN, LSTM, and BERT-based algorithms. The perturbations are induced by the addition and removal of unwanted tokens like punctuation and stop-words that are minimally associated with the final performance of the model. We show that these deep learning approaches including BERT are sensitive to such legitimate input perturbations on four standard benchmark datasets SST2, TREC-6, BBC News, and tweet_eval. We observe that BERT is more susceptible to the removal of tokens as compared to the addition of tokens. Moreover, LSTM is slightly more sensitive to input perturbations as compared to CNN based model. The work also serves as a practical guide to assessing the impact of discrepancies in train-test conditions on the final performance of models.
Abstract（参考訳）: テキスト分類は自然言語処理の基本課題であり、様々な応用があり、ディープラーニングアプローチが最先端の結果を生み出している。これらのモデルはブラックボックスの性質を強く批判されてきたが、入力テキストのわずかな摂動に対する頑健さは問題視されてきた。本研究では, cnn, lstm, bertベースのアルゴリズムなど, ディープラーニングに基づくテキスト分類モデルの性能に対する系統的実用的摂動の影響を評価するデータに焦点を当てた研究を行う。摂動は、モデルの最終的なパフォーマンスに最小限に関連する句読点や停止語などの不要なトークンの追加と削除によって引き起こされる。 BERTを含むこれらのディープラーニングアプローチは,SST2,TREC-6,BBC News,Tweet_evalの4つの標準ベンチマークデータセットにおいて,そのような正当な入力摂動に敏感であることを示す。我々は、bertがトークンの追加に比べてトークンの削除に影響を受けやすいことを観察する。さらに、LSTMはCNNベースのモデルに比べて入力摂動に対してわずかに敏感である。この研究はまた、モデルの最終性能に対する列車試験条件の不一致の影響を評価するための実践的なガイドとしても機能する。

関連論文リスト

Boosting Semi-Supervised Scene Text Recognition via Viewing and Summarizing [71.29488677105127]
既存のシーンテキスト認識(STR)手法は、特に芸術的で歪んだ文字に対して、挑戦的なテキストを認識するのに苦労している。人的コストを伴わずに、合成データと実際のラベルなしデータを活用して、対照的な学習ベースのSTRフレームワークを提案する。本手法は,共通ベンチマークとUnion14M-Benchmarkで平均精度94.7%,70.9%のSOTA性能を実現する。
論文参考訳（メタデータ） (2024-11-23T15:24:47Z)
How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-04T13:39:21Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
A Visual Interpretation-Based Self-Improved Classification System Using Virtual Adversarial Training [4.722922834127293]
本稿では,仮想対人訓練(VAT)とBERTモデルを組み合わせた視覚的解釈に基づく自己改善型分類モデルを提案する。具体的には、テキストの感情を分類するための分類器として、微調整のBERTモデルを用いる。予測された感情分類ラベルは、半教師付き訓練方法によるスパム分類のための別のBERTの入力の一部として使用される。
論文参考訳（メタデータ） (2023-09-03T15:07:24Z)
Towards Harnessing Feature Embedding for Robust Learning with Noisy Labels [44.133307197696446]
ディープニューラルネットワーク(DNN)の記憶効果は,近年のラベルノイズ学習法において重要な役割を担っている。ラベルノイズを用いたディープラーニングのための新しい特徴埋め込み方式, LabEl Noise Dilution (LEND) を提案する。
論文参考訳（メタデータ） (2022-06-27T02:45:09Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文参考訳（メタデータ） (2021-09-24T03:49:38Z)
Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文参考訳（メタデータ） (2021-08-27T12:31:17Z)
Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers [21.594361495948316]
モデルの解釈可能性を改善するための新しい取り組みが始まったばかりで、既存の多くのメソッドでは、トレーニングの追加インプットとして事前情報または人的アノテーションが必要である。本稿では,タスク固有の重要な単語を自動的に学習し,分類に関する無関係な情報を低減し,最終的にモデル予測の解釈可能性を向上させるための変分語マスク(VMASK)手法を提案する。
論文参考訳（メタデータ） (2020-10-01T20:02:43Z)
TAVAT: Token-Aware Virtual Adversarial Training for Language Understanding [55.16953347580948]
グラディエントベースの敵トレーニングは、ニューラルネットワークの堅牢性向上に広く利用されている。埋め込み空間が離散であるため、自然言語処理タスクに容易に適応することはできない。微粒な摂動を創り出すためのトークン認識仮想アドリアリトレーニング法を提案する。
論文参考訳（メタデータ） (2020-04-30T02:03:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。