論文の概要: Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference

• arxiv url: http://arxiv.org/abs/2412.16194v1
• Date: Mon, 16 Dec 2024 17:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 07:32:26.855932
• Title: Multi-head attention debiasing and contrastive learning for mitigating Dataset Artifacts in Natural Language Inference
• Title（参考訳）: 自然言語推論におけるデータセットアーティファクトの緩和のためのマルチヘッド・アテンション・デバイアスとコントラスト学習
• Authors: Karthik Sivakoti,
• Abstract要約: 自然言語推論モデルのための構造的デバイアス化手法を開発した。 提案手法は, 誤差率を14.19%から10.42%に下げると同時に, バイアスのない例では高い性能を維持する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While Natural Language Inference (NLI) models have achieved high performances on benchmark datasets, there are still concerns whether they truly capture the intended task, or largely exploit dataset artifacts. Through detailed analysis of the Stanford Natural Language Inference (SNLI) dataset, we have uncovered complex patterns of various types of artifacts and their interactions, leading to the development of our novel structural debiasing approach. Our fine-grained analysis of 9,782 validation examples reveals four major categories of artifacts: length-based patterns, lexical overlap, subset relationships, and negation patterns. Our multi-head debiasing architecture achieves substantial improvements across all bias categories: length bias accuracy improved from 86.03% to 90.06%, overlap bias from 91.88% to 93.13%, subset bias from 95.43% to 96.49%, and negation bias from 88.69% to 94.64%. Overall, our approach reduces the error rate from 14.19% to 10.42% while maintaining high performance on unbiased examples. Analysis of 1,026 error cases shows significant improvement in handling neutral relationships, traditionally one of the most challenging areas for NLI systems.
• Abstract（参考訳）: 自然言語推論(Natural Language Inference, NLI)モデルは、ベンチマークデータセット上で高いパフォーマンスを達成したが、意図したタスクを真に捉えているのか、あるいはデータセットのアーティファクトを主に活用しているのか、まだ懸念されている。 SNLI(Stanford Natural Language Inference)データセットの詳細な分析により、さまざまな種類のアーティファクトとその相互作用の複雑なパターンが明らかになった。 9,782件の検証例を詳細に分析した結果,長さベースパターン,語彙オーバーラップ,サブセット関係,否定パターンという4つの主要なアーティファクトのカテゴリが明らかになった。 長さバイアスの精度は86.03%から90.06%に改善され、オーバーラップバイアスは91.88%から93.13%に、サブセットバイアスは95.43%から96.49%に、否定バイアスは88.69%から94.64%に改善された。 提案手法は, 誤差率を14.19%から10.42%に下げると同時に, バイアスのない例では高い性能を維持する。 1,026のエラーケースの解析は、伝統的にNLIシステムにとって最も困難な領域の1つである中立関係の処理において、大幅に改善されたことを示している。

関連論文リスト

• STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
  大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。 我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。 以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
  論文  参考訳（メタデータ） (2024-09-20T18:34:38Z)
• Exploring Factual Entailment with NLI: A News Media Study [0.9208007322096533]
  本稿では,FactRelの導入により,事実性と自然言語推論(NLI)の関係について検討する。 分析の結果,事実支援ペアの84%,不明な事実支援ペアの63%はNLIの関与や矛盾にはならないことがわかった。 我々は,新しいデータセットをペアで分類するモデルを用いて実験を行い,いくつかの場合において,注釈付きデータセットに基づいてGPT-4で合成データを生成することにより,性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-06-24T17:47:55Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Dissecting vocabulary biases datasets through statistical testing and automated data augmentation for artifact mitigation in Natural Language Inference [3.154631846975021]
  我々は、データセットのアーティファクトを調査し、これらの問題に対処するための戦略を開発することに重点を置いている。 文字レベルから単語レベルにまたがる複数の自動データ拡張戦略を提案する。 実験により,提案手法はモデル精度を効果的に向上し,バイアスを最大0.66%,バイアスを1.14%低減することを示した。
  論文  参考訳（メタデータ） (2023-12-14T08:46:26Z)
• Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
  各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。 提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。 我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-14T13:56:24Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Variational Information Bottleneck for Effective Low-Resource Fine-Tuning [40.66716433803935]
  低リソースターゲットタスクの微調整において,無関係な特徴を抑えるために,変動情報ボット (VIB) を提案する。 我々のVIBモデルは、自然言語推論データセットのバイアスに対してより堅牢な文表現を見つける。
  論文  参考訳（メタデータ） (2021-06-10T03:08:13Z)
• Re-TACRED: Addressing Shortcomings of the TACRED Dataset [5.820381428297218]
  TACREDは、最大かつ最も広く使われている文レベルの関係抽出データセットの1つである。 このデータセットを用いて評価された提案モデルは、新しい最先端のパフォーマンスを一貫して設定する。 しかし、彼らはまだ大規模なテキストコーポラで外部の知識と教師なしの事前訓練を利用しながら大きなエラー率を示しています。
  論文  参考訳（メタデータ） (2021-04-16T22:55:11Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)
• Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
  本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。 まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。 第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
  論文  参考訳（メタデータ） (2020-05-10T17:56:10Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。