論文の概要: ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text
Classification Models
- arxiv url: http://arxiv.org/abs/2102.00238v1
- Date: Sat, 30 Jan 2021 15:18:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:25:29.037807
- Title: ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text
Classification Models
- Title（参考訳）: ShufText: テキスト分類モデルの脆弱性を評価するためのシンプルなブラックボックスアプローチ
- Authors: Rutuja Taware, Shraddha Varat, Gaurav Salunke, Chaitanya Gawande,
Geetanjali Kale, Rahul Khengare, Raviraj Joshi
- Abstract要約: CNN、LSTM、Transformersに基づくディープラーニングアプローチは、テキスト分類における事実上のアプローチである。
これらのシステムは、分類に有用なテキストに現れる重要な単語に過度に依存していることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text classification is the most basic natural language processing task. It
has a wide range of applications ranging from sentiment analysis to topic
classification. Recently, deep learning approaches based on CNN, LSTM, and
Transformers have been the de facto approach for text classification. In this
work, we highlight a common issue associated with these approaches. We show
that these systems are over-reliant on the important words present in the text
that are useful for classification. With limited training data and
discriminative training strategy, these approaches tend to ignore the semantic
meaning of the sentence and rather just focus on keywords or important n-grams.
We propose a simple black box technique ShutText to present the shortcomings of
the model and identify the over-reliance of the model on keywords. This
involves randomly shuffling the words in a sentence and evaluating the
classification accuracy. We see that on common text classification datasets
there is very little effect of shuffling and with high probability these models
predict the original class. We also evaluate the effect of language model
pretraining on these models and try to answer questions around model robustness
to out of domain sentences. We show that simple models based on CNN or LSTM as
well as complex models like BERT are questionable in terms of their syntactic
and semantic understanding.
- Abstract（参考訳）: テキスト分類は最も基本的な自然言語処理タスクです。
感情分析からトピック分類まで幅広い用途があります。
近年,CNN,LSTM,Transformersに基づくディープラーニングアプローチが,テキスト分類のデファクトアプローチとなっている。
本研究では,これらのアプローチにまつわる共通問題を取り上げる。
これらのシステムは、分類に有用なテキストに現れる重要な単語に過度に依存していることを示す。
限られたトレーニングデータと識別訓練戦略によって、これらのアプローチは文の意味的意味を無視し、キーワードや重要なn-gramにフォーカスする傾向がある。
モデルの欠点を提示し、キーワード上のモデルの過信頼性を特定するためのシンプルなブラックボックス技術ShutTextを提案します。
これは、文章中の単語をランダムにシャッフルし、分類精度を評価することである。
一般的なテキスト分類データセットでは、シャフリングの影響はほとんどなく、高い確率でこれらのモデルは元のクラスを予測します。
また,これらのモデルに対する言語モデルの事前学習の効果を評価し,モデルのロバスト性に関する質問に答える。
CNNやLSTMに基づく単純なモデルやBERTのような複雑なモデルは、それらの構文的および意味論的理解の観点から疑問を呈する。
関連論文リスト
- Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。
本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。
本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
論文 参考訳（メタデータ） (2024-05-09T12:03:38Z) - Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。
より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。
これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
論文 参考訳（メタデータ） (2024-03-26T12:47:39Z) - Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。
自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。
我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-05-19T05:47:33Z) - Like a Good Nearest Neighbor: Practical Content Moderation and Text
Classification [66.02091763340094]
LaGoNN(Good Nearest Neighbor)は、学習可能なパラメータを導入することなく、隣人の情報で入力テキストを変更するSetFitの変更である。
LaGoNNは望ましくないコンテンツやテキスト分類のフラグ付けに有効であり、SetFitのパフォーマンスを改善する。
論文 参考訳（メタデータ） (2023-02-17T15:43:29Z) - Text2Model: Text-based Model Induction for Zero-shot Image Classification [38.704831945753284]
テキスト記述のみを用いてタスクに依存しない分類器を構築するという課題に対処する。
クラス記述を受信し,マルチクラスモデルを出力するハイパーネットワークを用いてゼロショット分類器を生成する。
本手法は,画像,ポイントクラウド,行動認識など,一連のゼロショット分類タスクにおいて,テキスト記述の範囲を用いて評価する。
論文 参考訳（メタデータ） (2022-10-27T05:19:55Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳（メタデータ） (2021-10-04T08:51:36Z) - Experiments with adversarial attacks on text genres [0.0]
BERTやXLM-RoBERTaのような事前学習されたトランスフォーマーに基づくニューラルモデルは、多くのNLPタスクにおいてSOTA結果を示す。
そこで本研究では,最も重要な単語のいくつかを類似した単語に置き換えることができる埋め込み型アルゴリズムが,モデル予測にかなりの割合で影響を及ぼすことを示す。
論文 参考訳（メタデータ） (2021-07-05T19:37:59Z) - Sentiment analysis in tweets: an assessment study from classical to
modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。
非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。
本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文 参考訳（メタデータ） (2021-05-29T21:05:28Z) - MASKER: Masked Keyword Regularization for Reliable Text Classification [73.90326322794803]
文脈に基づく予測を容易にする微調整手法であるマスク付きキーワード正規化(MASKER)を提案する。
maskerはモデルを規則化し、他の単語からキーワードを再構築し、十分な文脈なしに低信頼の予測を行う。
分類精度を低下させることなくOOD検出とクロスドメインの一般化を改善したMASKERを提案する。
論文 参考訳（メタデータ） (2020-12-17T04:54:16Z) - Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。
言語モデルのための完全合成出力埋め込み層を提案する。
我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文 参考訳（メタデータ） (2020-09-24T07:21:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。