Fugu-MT 論文翻訳(概要): InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples

論文の概要: InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples

arxiv url: http://arxiv.org/abs/2210.03068v1
Date: Thu, 6 Oct 2022 17:22:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-07 15:06:09.428932
Title: InferES : A Natural Language Inference Corpus for Spanish Featuring Negation-Based Contrastive and Adversarial Examples
Title（参考訳）: InferES : 否定に基づく反対・反対例を特徴とするスペイン語の自然言語推論コーパス
Authors: Venelin Kovatchev and Mariona Taul\'e
Abstract要約: InferESは、スペイン語でNLI(Natural Language Inference)のオリジナルコーパスである。我々は,専門家言語学者や群衆労働者を活用したコーパス作成戦略を提案し,実装し,分析する。
参考スコア（独自算出の注目度）: 2.411299055446423
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we present InferES - an original corpus for Natural Language Inference (NLI) in European Spanish. We propose, implement, and analyze a variety of corpus-creating strategies utilizing expert linguists and crowd workers. The objectives behind InferES are to provide high-quality data, and, at the same time to facilitate the systematic evaluation of automated systems. Specifically, we focus on measuring and improving the performance of machine learning systems on negation-based adversarial examples and their ability to generalize across out-of-distribution topics. We train two transformer models on InferES (8,055 gold examples) in a variety of scenarios. Our best model obtains 72.8% accuracy, leaving a lot of room for improvement. The "hypothesis-only" baseline performs only 2%-5% higher than majority, indicating much fewer annotation artifacts than prior work. We find that models trained on InferES generalize very well across topics (both in- and out-of-distribution) and perform moderately well on negation-based adversarial examples.
Abstract（参考訳）: 本稿では,ヨーロッパにおける自然言語推論(nli)のためのオリジナルのコーパスであるinferesについて述べる。我々は,専門家言語学者や群衆労働者を活用したコーパス作成戦略を提案し,実装し,分析する。 inferesの背後にある目標は、高品質なデータを提供することと、同時に自動化システムの体系的な評価を容易にすることである。具体的には,ネゲーションに基づく対向例における機械学習システムの性能の測定と改善と,分布外トピックをまたいで一般化する能力に注目する。様々なシナリオで2つのトランスフォーマーモデルをinferes(8,055ゴールドの例)でトレーニングします。我々の最良のモデルは72.8%の精度で、改善の余地がたくさんある。ハイポテーゼのみ" ベースラインは多数派より2%-5%だけ高く、以前の作業よりもアノテーションアーティファクトがはるかに少ないことを示している。推論に基づいてトレーニングされたモデルは、トピック(イン・オブ・ディストリビューションとアウト・オブ・ディストリビューションの両方)をまたいで非常によく一般化し、否定ベースの敵の例で適度に機能する。

関連論文リスト

A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives [13.581385765600265]
プレトレーニング言語モデル(PLM)は優れたパフォーマンスを示し、NLPコミュニティの注目を集めている。本稿では,制御された方法論環境における多言語事前学習目標の比較を提案する。
論文参考訳（メタデータ） (2024-07-22T09:16:30Z)
Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
論文参考訳（メタデータ） (2024-04-02T02:03:28Z)
Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文参考訳（メタデータ） (2023-07-16T15:18:25Z)
UU-Tax at SemEval-2022 Task 3: Improving the generalizability of language models for taxonomy classification through data augmentation [0.0]
本稿では,SemEval-2022 Task 3 PreTENS: Presuposed Taxonomies Evaluation Neural Network Semanticsについて述べる。タスクの目標は、文に含まれる名詞対の間の分類学的関係によって、ある文が受け入れられているか否かを識別することである。より優れた分類のための言語モデルの堅牢性と一般化性を高める効果的な方法を提案する。
論文参考訳（メタデータ） (2022-10-07T07:41:28Z)
Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文参考訳（メタデータ） (2021-11-04T12:59:55Z)
On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
論文参考訳（メタデータ） (2021-10-15T21:41:16Z)
Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文参考訳（メタデータ） (2020-12-10T01:27:24Z)
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference [59.62779187457773]
自然言語推論のための生成型分類器(NLI)を提案する。差別モデルやBERTのような大規模事前学習言語表現モデルを含む5つのベースラインと比較する。実験の結果、GenNLIはいくつかの挑戦的なNLI実験環境において差別的ベースラインと事前訓練ベースラインの両方に優れていた。
論文参考訳（メタデータ） (2020-10-08T04:44:00Z)
On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文参考訳（メタデータ） (2020-10-06T20:48:58Z)
Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
論文参考訳（メタデータ） (2020-05-20T23:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。