論文の概要: CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about
Negation
- arxiv url: http://arxiv.org/abs/2211.00295v1
- Date: Tue, 1 Nov 2022 06:10:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 12:59:16.040193
- Title: CONDAQA: A Contrastive Reading Comprehension Dataset for Reasoning about
Negation
- Title(参考訳): CONDAQA: 否定に関する推論のための対照的な理解データセット
- Authors: Abhilasha Ravichander, Matt Gardner, Ana Marasovi\'c
- Abstract要約: 本稿では,段落における否定文の意味に関する推論を必要とする,最初の英語読解データセットを提案する。
CONDAQAは1,182組の質問応答ペアと200以上のユニークな否定的手がかりを備える。
CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
- 参考スコア(独自算出の注目度): 21.56001677478673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The full power of human language-based communication cannot be realized
without negation. All human languages have some form of negation. Despite this,
negation remains a challenging phenomenon for current natural language
understanding systems. To facilitate the future development of models that can
process negation effectively, we present CONDAQA, the first English reading
comprehension dataset which requires reasoning about the implications of
negated statements in paragraphs. We collect paragraphs with diverse negation
cues, then have crowdworkers ask questions about the implications of the
negated statement in the passage. We also have workers make three kinds of
edits to the passage -- paraphrasing the negated statement, changing the scope
of the negation, and reversing the negation -- resulting in clusters of
question-answer pairs that are difficult for models to answer with spurious
shortcuts. CONDAQA features 14,182 question-answer pairs with over 200 unique
negation cues and is challenging for current state-of-the-art models. The best
performing model on CONDAQA (UnifiedQA-v2-3b) achieves only 42% on our
consistency metric, well below human performance which is 81%. We release our
dataset, along with fully-finetuned, few-shot, and zero-shot evaluations, to
facilitate the development of future NLP methods that work on negated language.
- Abstract(参考訳): 人間の言語に基づくコミュニケーションのフルパワーは否定なしでは実現できない。
すべての人間の言語は何らかの否定を持っている。
それにもかかわらず、否定は現在の自然言語理解システムにとって難しい現象である。
否定を効果的に処理できるモデルの開発を促進するために,段落における否定文の意味を推論する必要がある最初の英語読解データセットであるCONDAQAを提案する。
さまざまな否定手法の段落を収集し,その行程における否定文の意味について,クラウドワーカーに質問する。
また、労働者は3種類の編集 – 否定されたステートメントの表現、否定のスコープの変更、否定の反転 – を行い、結果として、モデルが急激なショートカットで答えるのが難しい質問と回答のペアのクラスタを生成します。
CONDAQAは、200以上のユニークな否定キューを備えた14,182の質問応答ペアを備え、現在の最先端モデルでは難しい。
CONDAQAの最高のパフォーマンスモデル(UnifiedQA-v2-3b)は、我々の一貫性基準で42%しか達成できません。
我々は、完全に微調整された、少数ショット、ゼロショットの評価とともにデータセットをリリースし、ネゲート言語で動作する将来のNLPメソッドの開発を容易にする。
関連論文リスト
- This is not a Dataset: A Large Negation Benchmark to Challenge Large
Language Models [4.017326849033009]
我々は,否定を理解する大規模言語モデルの最適部分性能の理由を明らかにする。
我々は,コモンセンス知識に関する40万前後の記述文を半自動生成する大規模データセットを提案する。
我々は,その一般化と推論能力を把握するために,ゼロショットアプローチで利用可能な最大オープンLCMを用いてデータセットを構築した。
論文 参考訳(メタデータ) (2023-10-24T15:38:21Z) - Language models are not naysayers: An analysis of language models on
negation benchmarks [58.32362243122714]
我々は,次世代自動回帰言語モデルによる否定処理能力の評価を行った。
LLMには,否定の存在に対する感受性,否定の語彙的意味を捉える能力の欠如,否定下での推論の失敗など,いくつかの制限があることが示されている。
論文 参考訳(メタデータ) (2023-06-14T01:16:37Z) - We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
あいまいさの管理は人間の言語理解の重要な部分です。
文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。
我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
論文 参考訳(メタデータ) (2023-04-27T17:57:58Z) - Leveraging Affirmative Interpretations from Negation Improves Natural
Language Understanding [10.440501875161003]
否定は多くの自然言語理解タスクにおいて課題となる。
3つの自然言語理解タスクに対して,このようなメリットモデルを行うことが示される。
我々は,否定文を付与したプラグアンドプレイ型ニューラルジェネレータを構築し,肯定的な解釈を生成する。
論文 参考訳(メタデータ) (2022-10-26T05:22:27Z) - Not another Negation Benchmark: The NaN-NLI Test Suite for Sub-clausal
Negation [59.307534363825816]
否定は現在の言語モデルでは不十分だが、この問題の範囲は広く理解されていない。
自然言語推論(NLI)テストスイートを導入し,NLP手法の能力を検証した。
論文 参考訳(メタデータ) (2022-10-06T23:39:01Z) - Improving negation detection with negation-focused pre-training [58.32362243122714]
否定は共通の言語的特徴であり、多くの言語理解タスクにおいて不可欠である。
最近の研究で、最先端のNLPモデルは否定を含むサンプルで性能が低いことが示されている。
本稿では,データ拡張と否定マスキングを対象とする,否定に焦点をあてた新たな事前学習戦略を提案する。
論文 参考訳(メタデータ) (2022-05-09T02:41:11Z) - Revisiting Negation in Neural Machine Translation [26.694559863395877]
ニューラルネットワーク翻訳(NMT)モデルによる否定の翻訳能力は,より深く,より高度なネットワークによって向上したことを示す。
英語-ドイツ語 (EN--DE) と英語-中国語 (EN--ZH) のマニュアル評価の精度は95.7%、94.8%、93.4%、91.7%である。
論文 参考訳(メタデータ) (2021-07-26T13:19:57Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳(メタデータ) (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。