論文の概要: Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference

• arxiv url: http://arxiv.org/abs/2101.07397v3
• Date: Fri, 22 Jan 2021 01:37:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 11:23:05.271382
• Title: Exploring Lexical Irregularities in Hypothesis-Only Models of Natural Language Inference
• Title（参考訳）: 自然言語推論の仮説限定モデルにおける語彙不規則性の検討
• Authors: Qingyuan Hu, Yi Zhang, Kanishka Misra, Julia Rayz
• Abstract要約: 自然言語推論(NLI)またはテキスト関連認識(RTE)は、文のペア間の関係を予測するタスクです。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 Poliakらによる実験。 仮説でのみ観察されたパターンに対するこれらのモデルの強い好みを明らかにした。
• 参考スコア（独自算出の注目度）: 5.283529004179579
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural Language Inference (NLI) or Recognizing Textual Entailment (RTE) is the task of predicting the entailment relation between a pair of sentences (premise and hypothesis). This task has been described as a valuable testing ground for the development of semantic representations, and is a key component in natural language understanding evaluation benchmarks. Models that understand entailment should encode both, the premise and the hypothesis. However, experiments by Poliak et al. revealed a strong preference of these models towards patterns observed only in the hypothesis, based on a 10 dataset comparison. Their results indicated the existence of statistical irregularities present in the hypothesis that bias the model into performing competitively with the state of the art. While recast datasets provide large scale generation of NLI instances due to minimal human intervention, the papers that generate them do not provide fine-grained analysis of the potential statistical patterns that can bias NLI models. In this work, we analyze hypothesis-only models trained on one of the recast datasets provided in Poliak et al. for word-level patterns. Our results indicate the existence of potential lexical biases that could contribute to inflating the model performance.
• Abstract（参考訳）: 自然言語推論(英: Natural Language Inference, NLI)は、一対の文(前提と仮説)の間の関係を予測するタスクである。 このタスクは意味表現の開発に有用なテスト基盤として説明され、自然言語理解評価ベンチマークにおいて重要な要素である。 包含を理解するモデルは前提と仮説の両方をエンコードするべきである。 しかし、poliakらは実験を行った。 仮説でのみ観察されるパターンに対して、これらのモデルの強い嗜好を、データセット比較に基づいて明らかにした。 これらの結果は、モデルが芸術の状況と競争的に振る舞うように偏る仮説に存在する統計的不規則性の存在を示唆した。 リキャストデータセットは、人間の介入を最小限に抑えて大規模なNLIインスタンスを生成するが、それらを生成する論文は、NLIモデルに偏る可能性のある潜在的な統計パターンの詳細な分析を提供していない。 本研究では,Poliakらが提供するリキャストデータセットの1つでトレーニングされた仮説のみのモデルを解析する。 単語レベルのパターン。 その結果,モデル性能の増大に寄与する潜在的な語彙バイアスの存在が示唆された。

関連論文リスト

• Enhancing adversarial robustness in Natural Language Inference using explanations [41.46494686136601]
  自然言語推論(NLI)の未探索課題に注目点を当てた。 我々は、広範囲な実験を通じて、モデルに依存しない防衛戦略として、自然言語説明の使用を検証した。 本研究では,広範に使用されている言語生成指標と人間の知覚との相関について検討し,それらが堅牢なNLIモデルへのプロキシとして機能するようにした。
  論文  参考訳（メタデータ） (2024-09-11T17:09:49Z)
• Measuring Causal Effects of Data Statistics on Language Model's `Factual' Predictions [59.284907093349425]
  大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。 トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。 我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
  論文  参考訳（メタデータ） (2022-07-28T17:36:24Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns [9.031827448667086]
  我々は、自然言語推論(NLI)のために微調整されたトランスフォーマーベース事前学習言語モデル(PLM)が使用する浅瀬を探索する。 モデルが特定の浅瀬に強く依存していることの証拠を見つけ、前提と仮説の間の対称性と対称性を拾い上げる。
  論文  参考訳（メタデータ） (2022-01-19T14:15:41Z)
• Automatically Identifying Semantic Bias in Crowdsourced Natural Language Inference Datasets [78.6856732729301]
  NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。 データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
  論文  参考訳（メタデータ） (2021-12-16T22:49:01Z)
• Instance-Based Neural Dependency Parsing [56.63500180843504]
  依存関係解析のための解釈可能な推論プロセスを持つニューラルモデルを開発する。 私たちのモデルはインスタンスベースの推論を採用しており、トレーニングセットのエッジと比較することで、依存関係のエッジを抽出し、ラベル付けします。
  論文  参考訳（メタデータ） (2021-09-28T05:30:52Z)
• A Generative Approach for Mitigating Structural Biases in Natural Language Inference [24.44419010439227]
  本研究では、NLIタスクを生成タスクとして再構成し、モデルが入力とラベルのバイアス付きサブセットに条件付けされるようにする。 このアプローチは大量のバイアスに対して非常に堅牢であることを示す。 生成モデルは訓練が困難であり、識別ベースラインよりも一般的にはパフォーマンスが悪くなっている。
  論文  参考訳（メタデータ） (2021-08-31T17:59:45Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference [38.14399396661415]
  仮説のみのバイアスの観点から、逆例を導出する。 このような仮説のみのバイアスを軽減するために、人工パターンモデリングを利用する2つのデバイアス手法について検討する。
  論文  参考訳（メタデータ） (2020-03-05T16:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。