論文の概要: Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks

• arxiv url: http://arxiv.org/abs/2002.06261v2
• Date: Fri, 27 Mar 2020 18:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:49:01.959694
• Title: Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks
• Title（参考訳）: 自然言語理解タスクにおける変圧器モデルによるストレステスト評価
• Authors: Carlos Aspillaga, Andr\'es Carvallo, Vladimir Araujo
• Abstract要約: 本研究は,自然言語推論(NLI)と質問応答(QA)における3つのトランスフォーマーモデル(RoBERTa,XLNet,BERT)を評価する。 実験の結果,RoBERTa,XLNet,BERTはニューラルネットモデルよりも堅牢であり,NLIタスクとQAタスクの両方のストレステストが可能であることがわかった。
• 参考スコア（独自算出の注目度）: 3.2442879131520126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been significant progress in recent years in the field of Natural Language Processing thanks to the introduction of the Transformer architecture. Current state-of-the-art models, via a large number of parameters and pre-training on massive text corpus, have shown impressive results on several downstream tasks. Many researchers have studied previous (non-Transformer) models to understand their actual behavior under different scenarios, showing that these models are taking advantage of clues or failures of datasets and that slight perturbations on the input data can severely reduce their performance. In contrast, recent models have not been systematically tested with adversarial-examples in order to show their robustness under severe stress conditions. For that reason, this work evaluates three Transformer-based models (RoBERTa, XLNet, and BERT) in Natural Language Inference (NLI) and Question Answering (QA) tasks to know if they are more robust or if they have the same flaws as their predecessors. As a result, our experiments reveal that RoBERTa, XLNet and BERT are more robust than recurrent neural network models to stress tests for both NLI and QA tasks. Nevertheless, they are still very fragile and demonstrate various unexpected behaviors, thus revealing that there is still room for future improvement in this field.
• Abstract（参考訳）: トランスフォーマーアーキテクチャの導入により,近年,自然言語処理分野において大きな進歩を遂げている。 現在の最先端モデルでは、多数のパラメータと大量のテキストコーパスでの事前学習を通じて、下流タスクで印象的な結果を示している。 多くの研究者は、さまざまなシナリオで実際の振る舞いを理解するために、以前の(非変換型)モデルを研究しており、これらのモデルがデータセットの手がかりや失敗を利用しており、入力データに対するわずかな摂動によってパフォーマンスが著しく低下することを示している。 対照的に、最近のモデルは厳しいストレス条件下での強靭性を示すために、逆例を用いて体系的に試験されていない。 そのため、自然言語推論(NLI)および質問回答(QA)タスクにおける3つのトランスフォーマーベースモデル(RoBERTa、XLNet、BERT)を評価し、それらがより堅牢か、前者と同じ欠陥があるかを知る。 その結果,RoBERTa,XLNet,BERTはニューラルネットモデルよりも頑健であり,NLIタスクとQAタスクの両方の負荷テストが可能であることがわかった。 それでも、それらはまだ非常に脆弱であり、様々な予期せぬ振る舞いを示しており、この分野に将来的な改善の余地があることを示している。

関連論文リスト

• On Robustness of Finetuned Transformer-based NLP Models [11.063628128069736]
  CKAとSTIRの2つの指標を用いて、事前訓練された言語モデルと微調整された言語モデル間の変化を特徴付ける。 GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。 この研究は、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-23T18:25:18Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Leveraging Pre-trained Models for Failure Analysis Triplets Generation [0.0]
  我々は、故障解析トリプレット(FAT)を生成する下流タスクにおいて、トランスフォーマーモデルのような事前訓練された因果言語モデルの注意機構を活用する。 生成事前学習型変換器2(GPT2)は、故障解析三重項生成(FATG)タスクにおいて、他の変換器モデルよりも優れていた。 特に, GPT2(1.5Bパラメータで学習)は, ROUGEにおいて, トレーニング済みBERT, BART, GPT3よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-31T17:21:15Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• PLATON: Pruning Large Transformer Models with Upper Confidence Bound of Weight Importance [114.1541203743303]
  本稿では,重要度推定の上位信頼度境界(UCB)による重要度スコアの不確かさを捉えるPLATONを提案する。 我々は、自然言語理解、質問応答、画像分類に関するトランスフォーマーモデルを用いて、広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2022-06-25T05:38:39Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Evaluating the Robustness of Neural Language Models to Input Perturbations [7.064032374579076]
  本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。 本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。 その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
  論文  参考訳（メタデータ） (2021-08-27T12:31:17Z)
• Comparing Test Sets with Item Response Theory [53.755064720563]
  我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。 Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。 また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
  論文  参考訳（メタデータ） (2021-06-01T22:33:53Z)
• Recoding latent sentence representations -- Dynamic gradient-based activation modification in RNNs [0.0]
  RNNでは、サブオプティマティックな方法で情報をエンコーディングすることは、シーケンスの後の要素に基づいて表現の質に影響を与える可能性がある。 勾配に基づく補正機構を用いて,標準RNNへの拡張を提案する。 言語モデリングの文脈で異なる実験を行い、そのようなメカニズムを使うことによる影響を詳細に調べる。
  論文  参考訳（メタデータ） (2021-01-03T17:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。