論文の概要: Making Language Models Robust Against Negation
- arxiv url: http://arxiv.org/abs/2502.07717v1
- Date: Tue, 11 Feb 2025 17:18:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-12 14:08:06.594705
- Title: Making Language Models Robust Against Negation
- Title（参考訳）: 否定に反対する言語モデルを作る
- Authors: MohammadHossein Rezaei, Eduardo Blanco,
- Abstract要約: 本稿では,否定に対して言語モデルをより堅牢にするための自己教師型手法を提案する。
BERTとRoBERTaは、我々のタスクでさらに事前訓練され、9つの否定関連ベンチマークにおいて、既製のバージョンよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 9.818585902859363
- License:
- Abstract: Negation has been a long-standing challenge for language models. Previous studies have shown that they struggle with negation in many natural language understanding tasks. In this work, we propose a self-supervised method to make language models more robust against negation. We introduce a novel task, Next Sentence Polarity Prediction (NSPP), and a variation of the Next Sentence Prediction (NSP) task. We show that BERT and RoBERTa further pre-trained on our tasks outperform the off-the-shelf versions on nine negation-related benchmarks. Most notably, our pre-training tasks yield between 1.8% and 9.1% improvement on CondaQA, a large question-answering corpus requiring reasoning over negation.
- Abstract（参考訳）: ネゲーションは言語モデルにとって長年の課題だった。
以前の研究では、多くの自然言語理解タスクにおいて否定に苦しむことが示されている。
本研究では,否定に対して言語モデルをより堅牢にするための自己教師型手法を提案する。
本稿では,新しいタスクであるNext Sentence Polarity Prediction (NSPP)とNext Sentence Prediction (NSP)タスクのバリエーションを紹介する。
BERTとRoBERTaは、我々のタスクでさらに事前訓練され、9つの否定関連ベンチマークにおいて、既製のバージョンよりも優れていることを示す。
中でも注目すべきは、当社の事前学習タスクは、否定を理由づける大規模な質問回答コーパスであるCondaQAの1.8%から9.1%の改善である。
関連論文リスト
- Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about
Negation [21.56001677478673]
本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。
CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。
CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
論文 参考訳（メタデータ） (2022-11-01T06:10:26Z) - Leveraging Affirmative Interpretations from Negation Improves Natural
Language Understanding [10.440501875161003]
否定は多くの自然言語理解タスクにおいて課題となる。
3つの自然言語理解タスクに対して,このようなメリットモデルを行うことが示される。
我々は,否定文を付与したプラグアンドプレイ型ニューラルジェネレータを構築し,肯定的な解釈を生成する。
論文 参考訳（メタデータ） (2022-10-26T05:22:27Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳（メタデータ） (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳（メタデータ） (2022-05-09T02:41:11Z) - Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。
具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。
我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
論文 参考訳（メタデータ） (2022-04-29T19:18:37Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳（メタデータ） (2021-05-07T21:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。