論文の概要: On Robustness of Finetuned Transformer-based NLP Models
- arxiv url: http://arxiv.org/abs/2305.14453v1
- Date: Tue, 23 May 2023 18:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 00:05:53.986510
- Title: On Robustness of Finetuned Transformer-based NLP Models
- Title（参考訳）: 微細変換器を用いたNLPモデルのロバスト性について
- Authors: Pavan Kalyan Reddy Neerudu, Subba Reddy Oota, Mounika Marreddy,
Venkateswara Rao Kagita, Manish Gupta
- Abstract要約: 汎用言語理解評価(GLUE)ベンチマークにおいて,3つの言語モデル (BERT, GPT-2, T5) と8つのテキスト摂動の頑健さについて検討した。
モデルは大きな堅牢性を示すが、名詞や動詞、変化する文字が最も影響を受けやすい。
- 参考スコア（独自算出の注目度）: 4.119014132092874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based pretrained models like BERT, GPT-2 and T5 have been
finetuned for a large number of natural language processing (NLP) tasks, and
have been shown to be very effective. However, while finetuning, what changes
across layers in these models with respect to pretrained checkpoints is
under-studied. Further, how robust are these models to perturbations in input
text? Does the robustness vary depending on the NLP task for which the models
have been finetuned? While there exists some work on studying robustness of
BERT finetuned for a few NLP tasks, there is no rigorous study which compares
this robustness across encoder only, decoder only and encoder-decoder models.
In this paper, we study the robustness of three language models (BERT, GPT-2
and T5) with eight different text perturbations on the General Language
Understanding Evaluation (GLUE) benchmark. Also, we use two metrics (CKA and
STIR) to quantify changes between pretrained and finetuned language model
representations across layers. GPT-2 representations are more robust than BERT
and T5 across multiple types of input perturbation. Although models exhibit
good robustness broadly, dropping nouns, verbs or changing characters are the
most impactful. Overall, this study provides valuable insights into
perturbation-specific weaknesses of popular Transformer-based models which
should be kept in mind when passing inputs.
- Abstract（参考訳）: BERT、GPT-2、T5といったトランスフォーマーベースの事前訓練モデルは、多くの自然言語処理(NLP)タスクのために微調整されており、非常に効果的であることが示されている。
しかし、微調整をしながら、事前学習されたチェックポイントに関して、これらのモデル内のレイヤにまたがる変化は未検討である。
さらに、これらのモデルは入力テキストの摂動に対してどれほど堅牢か?
モデルが微調整されたNLPタスクによって、ロバスト性は異なるのか?
いくつかのNLPタスクのために微調整されたBERTのロバスト性の研究は存在するが、エンコーダのみ、デコーダのみ、エンコーダ-デコーダモデル間のロバスト性を比較する厳密な研究はない。
本稿では,3つの言語モデル(BERT, GPT-2, T5)の言語理解評価(GLUE)ベンチマークにおいて,8つのテキスト摂動による頑健性について検討する。
また、2つのメトリクス(CKAとSTIR)を用いて、事前訓練された言語モデルと微調整された言語モデル間の層間の変化を定量化する。
GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。
モデルは大きな堅牢性を示すが、名詞や動詞、変化する文字が最も影響を受けやすい。
全体として、この研究は、入力を渡す際に留意すべき、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
関連論文リスト
- Making the Most of your Model: Methods for Finetuning and Applying Pretrained Transformers [0.21756081703276003]
この論文は、この目標を前進させるモデルの方法と分析を提供する。
使用するモデルに新たな機能を追加する2つの新しいファインタニング手法を導入する。
モデルライクリフと出力品質のばらつきに関する理論的および実証的な知見を提供する。
論文 参考訳（メタデータ） (2024-08-29T03:50:24Z) - A Text-to-Text Model for Multilingual Offensive Language Identification [19.23565690468299]
本研究では,テキスト・トゥ・テキスト・トランスフォーマを用いた攻撃的言語識別のためのエンコーダ・デコーダアーキテクチャを用いた最初の事前学習モデルを提案する(T5)。
我々の事前学習されたT5モデルは、複数の英語ベンチマークにおいて、fBERTやHateBERTのような攻撃的言語検出のために微調整された他のトランスフォーマーベースモデルよりも優れている。
同様のアプローチで、mT5を用いて攻撃的言語識別のための最初の多言語事前訓練モデルを訓練する。
論文 参考訳（メタデータ） (2023-12-06T09:37:27Z) - Efficient GPT Model Pre-training using Tensor Train Matrix
Representation [65.96485282393361]
大規模なトランスフォーマーモデルは数十億のパラメータを特徴としており、デプロイが困難になり、スクラッチからトレーニングコストが禁じられている。
GPT-2アーキテクチャのパラメータ数を削減すべく、完全に接続された層の行列を対応するTrain Matrix(TTM)構造に置き換える。
GPTベースのモデルは最大40%のパラメータを格納し、元のモデルに匹敵するパープレキシティを示す。
論文 参考訳（メタデータ） (2023-06-05T08:38:25Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳（メタデータ） (2023-03-13T17:12:03Z) - Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。
生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。
特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
論文 参考訳（メタデータ） (2022-10-31T17:21:15Z) - PLATON: Pruning Large Transformer Models with Upper Confidence Bound of
Weight Importance [114.1541203743303]
本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。
我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
論文 参考訳（メタデータ） (2022-06-25T05:38:39Z) - Scale Efficiently: Insights from Pre-training and Fine-tuning
Transformers [57.931830650323]
本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。
モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。
再設計したモデルにより、下流の微調整品質が向上する。
論文 参考訳（メタデータ） (2021-09-22T12:29:15Z) - Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。
実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
論文 参考訳（メタデータ） (2021-03-21T14:12:34Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Stress Test Evaluation of Transformer-based Models in Natural Language
Understanding Tasks [3.2442879131520126]
本研究は,自然言語推論(NLI)と質問応答(QA)における3つのトランスフォーマーモデル(RoBERTa,XLNet,BERT)を評価する。
実験の結果,RoBERTa,XLNet,BERTはニューラルネットモデルよりも堅牢であり,NLIタスクとQAタスクの両方のストレステストが可能であることがわかった。
論文 参考訳（メタデータ） (2020-02-14T21:52:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。