論文の概要: Improving negation detection with negation-focused pre-training
- arxiv url: http://arxiv.org/abs/2205.04012v1
- Date: Mon, 9 May 2022 02:41:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-11 00:10:19.982689
- Title: Improving negation detection with negation-focused pre-training
- Title(参考訳): negation-focused pre-trainingによるネゲーション検出の改善
- Authors: Thinh Hung Truong, Timothy Baldwin, Trevor Cohn, Karin Verspoor
- Abstract要約: 否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
- 参考スコア(独自算出の注目度): 58.32362243122714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Negation is a common linguistic feature that is crucial in many language
understanding tasks, yet it remains a hard problem due to diversity in its
expression in different types of text. Recent work has shown that
state-of-the-art NLP models underperform on samples containing negation in
various tasks, and that negation detection models do not transfer well across
domains. We propose a new negation-focused pre-training strategy, involving
targeted data augmentation and negation masking, to better incorporate negation
information into language models. Extensive experiments on common benchmarks
show that our proposed approach improves negation detection performance and
generalizability over the strong baseline NegBERT (Khandewal and Sawant, 2020).
- Abstract(参考訳): 否定は、多くの言語理解タスクにおいて重要な共通言語的特徴であるが、異なる種類のテキストにおける表現の多様性のため、依然として難しい問題である。
最近の研究によると、最先端のNLPモデルは様々なタスクにおける否定を含むサンプルで性能が低く、否定検出モデルはドメイン間でうまく転送されない。
我々は,否定情報をより言語モデルに組み込むために,ターゲットデータの拡張と否定マスキングを含む新たな否定重視事前学習戦略を提案する。
提案手法は,強いベースラインであるNegBERT (Khandewal and Sawant, 2020) に対する否定検出性能と一般化性を向上することを示す。
関連論文リスト
- Generating Enhanced Negatives for Training Language-Based Object
Detectors [89.9037039320539]
我々は、現代の生成モデルに組み込まれた膨大な知識を活用して、元のデータにより関連性のある負を自動で構築することを提案する。
具体的には、大言語モデルを用いて、負のテキスト記述を生成するとともに、テキスト間拡散モデルを用いて、対応する負の画像を生成する。
論文 参考訳(メタデータ) (2023-12-29T23:04:00Z) - This is not a Dataset: A Large Negation Benchmark to Challenge Large
Language Models [4.017326849033009]
我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。
我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。
我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
論文 参考訳(メタデータ) (2023-10-24T15:38:21Z) - Language models are not naysayers: An analysis of language models on
negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文 参考訳(メタデータ) (2023-06-14T01:16:37Z) - CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about
Negation [21.56001677478673]
本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。
CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。
CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
論文 参考訳(メタデータ) (2022-11-01T06:10:26Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳(メタデータ) (2022-10-06T23:39:01Z) - Evaluating the Robustness of Neural Language Models to Input
Perturbations [7.064032374579076]
本研究では,雑音の多い入力テキストをシミュレートするために,文字レベルおよび単語レベルの摂動法を設計し,実装する。
本稿では,BERT,XLNet,RoBERTa,ELMoなどの高性能言語モデルを用いて,入力摂動の異なるタイプの処理能力について検討する。
その結果, 言語モデルは入力摂動に敏感であり, 小さな変化が生じても性能が低下することが示唆された。
論文 参考訳(メタデータ) (2021-08-27T12:31:17Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳(メタデータ) (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。