論文の概要: Analyzing and Mitigating Negation Artifacts using Data Augmentation for Improving ELECTRA-Small Model Accuracy

• arxiv url: http://arxiv.org/abs/2511.06234v1
• Date: Sun, 09 Nov 2025 05:25:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.828369
• Title: Analyzing and Mitigating Negation Artifacts using Data Augmentation for Improving ELECTRA-Small Model Accuracy
• Title（参考訳）: ELECTRA-Smallモデル精度向上のためのデータ拡張による否定アーチファクトの分析と緩和
• Authors: Mojtaba Noghabaei,
• Abstract要約: 本研究では,スタンフォード大学の自然言語推論データセットを微調整したELECTRA小モデルの性能について検討する。 モデルは否定を含む例を正しく分類するのに苦労している。 これを解決するために、我々は、否定を強調するコントラストセットと敵例でトレーニングデータを増強する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained models for natural language inference (NLI) often achieve high performance on benchmark datasets by using spurious correlations, or dataset artifacts, rather than understanding language touches such as negation. In this project, we investigate the performance of an ELECTRA-small model fine-tuned on the Stanford Natural Language Inference (SNLI) dataset, focusing on its handling of negation. Through analysis, we identify that the model struggles with correctly classifying examples containing negation. To address this, we augment the training data with contrast sets and adversarial examples emphasizing negation. Our results demonstrate that this targeted data augmentation improves the model's accuracy on negation-containing examples without adversely affecting overall performance, therefore mitigating the identified dataset artifact.
• Abstract（参考訳）: 自然言語推論(NLI)のための事前訓練されたモデルは、ネゲーションのような言語タッチを理解するのではなく、素早い相関やデータセットアーティファクトを使用することで、ベンチマークデータセット上で高いパフォーマンスを達成することが多い。 本稿では,Stanford Natural Language Inference (SNLI) データセットを微調整したELECTRA小モデルの性能について検討し,否定処理に着目した。 分析により、モデルが否定を含む例を正しく分類するのに苦労していることが判明した。 これを解決するために、我々は、否定を強調するコントラストセットと敵例でトレーニングデータを増強する。 以上の結果から,このターゲットデータ拡張により,全体の性能に悪影響を及ぼすことなく,否定を含む事例に対するモデルの精度が向上し,識別されたデータセットのアーティファクトが軽減されることが示唆された。

関連論文リスト

• A Comprehensive Taxonomy of Negation for NLP and Neural Retrievers [57.57320129313161]
  我々は、哲学的、言語的、論理的定義から派生した否定の分類を導入した。 ニューラルネットワーク検索モデルの性能評価に使用できるベンチマークデータセットを2つ生成する。 本稿では,既存のデータセットの検索モデルの性能を解析するために,論理に基づく分類機構を提案する。
  論文  参考訳（メタデータ） (2025-07-30T02:44:20Z)
• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• Generating Enhanced Negatives for Training Language-Based Object Detectors [86.1914216335631]
  我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。 具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。 実験により, 生成した負データとの関連性を確認し, 言語ベースの検出器での使用により, 2つの複雑なベンチマークの性能が向上した。
  論文  参考訳（メタデータ） (2023-12-29T23:04:00Z)
• Contrastive Error Attribution for Finetuned Language Models [35.80256755393739]
  ノイズと誤記のデータは、自然言語生成(NLG)タスクにおける幻覚と不誠実なアウトプットの中核的な原因である。 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。 本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、忠実度誤差を検出するために確実に機能しないことを示す。
  論文  参考訳（メタデータ） (2022-12-21T02:28:07Z)
• Improving negation detection with negation-focused pre-training [58.32362243122714]
  否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。 最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。 本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-05-09T02:41:11Z)
• NLI Data Sanity Check: Assessing the Effect of Data Corruption on Model Performance [3.7024660695776066]
  データセットがモデルの意味理解能力を評価するための良いテストベッドを構成するかどうかを評価することができる新しい診断テストスイートを提案します。 特に,広く使用されているベンチマーク(mnliおよびanli)に制御された腐敗変換を適用する。 モデル精度の大幅な低下は、元のデータセットがモデルの推論能力に適切な挑戦を提供することを示している。
  論文  参考訳（メタデータ） (2021-04-10T12:28:07Z)
• Detecting and Exorcising Statistical Demons from Language Models with Anti-Models of Negative Data [13.392212395386933]
  モデルファミリー内では、パラメータの数、訓練エポック数、データセットのサイズが増加するため、モデルが負のn-gramデータに一般化する能力がある。 本稿では,このような望ましくない信号を正のデータから自動的に学習した負のデータ分布で減衰させる帰納バイアスの形式を提案する。
  論文  参考訳（メタデータ） (2020-10-22T16:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。