論文の概要: How Does Data Corruption Affect Natural Language Understanding Models? A
Study on GLUE datasets
- arxiv url: http://arxiv.org/abs/2201.04467v1
- Date: Wed, 12 Jan 2022 13:35:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-13 14:58:22.713239
- Title: How Does Data Corruption Affect Natural Language Understanding Models? A
Study on GLUE datasets
- Title（参考訳）: データ破損は自然言語理解モデルにどのように影響するか?
GLUEデータセットに関する研究
- Authors: Aarne Talman, Marianna Apidianaki, Stergios Chatzikyriakidis, J\"org
Tiedemann
- Abstract要約: モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。
提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
- 参考スコア（独自算出の注目度）: 4.645287693363387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central question in natural language understanding (NLU) research is
whether high performance demonstrates the models' strong reasoning
capabilities. We present an extensive series of controlled experiments where
pre-trained language models are exposed to data that have undergone specific
corruption transformations. The transformations involve removing instances of
specific word classes and often lead to non-sensical sentences. Our results
show that performance remains high for most GLUE tasks when the models are
fine-tuned or tested on corrupted data, suggesting that the models leverage
other cues for prediction even in non-sensical contexts. Our proposed data
transformations can be used as a diagnostic tool for assessing the extent to
which a specific dataset constitutes a proper testbed for evaluating models'
language understanding capabilities.
- Abstract（参考訳）: 自然言語理解(NLU)研究における中心的な疑問は、高性能がモデルの強力な推論能力を示すかどうかである。
本稿では,事前学習された言語モデルが,特定の腐敗変換を行うデータに晒されるような,広範な制御実験を行う。
これらの変換は、特定の単語クラスのインスタンスを取り除き、しばしば非意味的な文に繋がる。
この結果から,モデルが細調整されたり,破損したデータでテストされた場合,ほとんどのGLUEタスクのパフォーマンスは高いことが示唆された。
提案するデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する程度を評価する診断ツールとして使用できる。
関連論文リスト
- Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。
提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
論文 参考訳（メタデータ） (2024-10-28T03:43:25Z) - Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals [91.59906995214209]
我々は,新しい評価手法であるCAT(Facterfactual Attentiveness Test)を提案する。
CATは、入力の一部を別の例から別の例に置き換えることで、予測を変更する注意深いモデルを期待することで、反事実を使用する。
実験データの精度が向上する一方, GPT3 は実演回数の増加により注意力の低下がみられた。
論文 参考訳（メタデータ） (2023-11-16T06:27:35Z) - Eeny, meeny, miny, moe. How to choose data for morphological inflection [8.914777617216862]
本稿では,トランスフォーマーモデルを用いた形態的インフレクション作業のための4つのサンプリング戦略について検討する。
そこで本研究では,30言語にまたがる戦略の頑健さについて検討する。
この結果から,モデル信頼度とエントロピーに基づくデータ選択のメリットが明らかとなった。
論文 参考訳（メタデータ） (2022-10-26T04:33:18Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳（メタデータ） (2022-07-28T17:36:24Z) - An Empirical Investigation of Commonsense Self-Supervision with
Knowledge Graphs [67.23285413610243]
大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。
本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
論文 参考訳（メタデータ） (2022-05-21T19:49:04Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳（メタデータ） (2021-11-02T15:48:28Z) - NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model
Performance [3.7024660695776066]
データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。
特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。
モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
論文 参考訳（メタデータ） (2021-04-10T12:28:07Z) - Improving Commonsense Causal Reasoning by Adversarial Training and Data
Augmentation [14.92157586545743]
本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。
少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
論文 参考訳（メタデータ） (2021-01-13T09:55:29Z) - Detecting and Exorcising Statistical Demons from Language Models with
Anti-Models of Negative Data [13.392212395386933]
モデルファミリー内では、パラメータの数、訓練エポック数、データセットのサイズが増加するため、モデルが負のn-gramデータに一般化する能力がある。
本稿では,このような望ましくない信号を正のデータから自動的に学習した負のデータ分布で減衰させる帰納バイアスの形式を提案する。
論文 参考訳（メタデータ） (2020-10-22T16:45:32Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Data Augmentation for Spoken Language Understanding via Pretrained
Language Models [113.56329266325902]
音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。
我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
論文 参考訳（メタデータ） (2020-04-29T04:07:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。