論文の概要: Context vs Target Word: Quantifying Biases in Lexical Semantic Datasets

• arxiv url: http://arxiv.org/abs/2112.06733v1
• Date: Mon, 13 Dec 2021 15:37:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-14 21:07:34.168767
• Title: Context vs Target Word: Quantifying Biases in Lexical Semantic Datasets
• Title（参考訳）: 文脈対目標語:語彙意味データセットにおけるバイアスの定量化
• Authors: Qianchu Liu, Diana McCarthy, Anna Korhonen
• Abstract要約: BERTのような最先端のコンテキスト化モデルは、WiCやWSDのようなタスクを使用して、ワード・イン・コンテクストの表現を評価する。 本研究は,主要な文脈的語彙意味タスクにおいて,文脈-単語間相互作用を検証した最初の定量的分析(探索ベースラインを用いた)を提案する。
• 参考スコア（独自算出の注目度）: 18.754562380068815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-of-the-art contextualized models such as BERT use tasks such as WiC and WSD to evaluate their word-in-context representations. This inherently assumes that performance in these tasks reflect how well a model represents the coupled word and context semantics. This study investigates this assumption by presenting the first quantitative analysis (using probing baselines) on the context-word interaction being tested in major contextual lexical semantic tasks. Specifically, based on the probing baseline performance, we propose measures to calculate the degree of context or word biases in a dataset, and plot existing datasets on a continuum. The analysis shows most existing datasets fall into the extreme ends of the continuum (i.e. they are either heavily context-biased or target-word-biased) while only AM$^2$iCo and Sense Retrieval challenge a model to represent both the context and target words. Our case study on WiC reveals that human subjects do not share models' strong context biases in the dataset (humans found semantic judgments much more difficult when the target word is missing) and models are learning spurious correlations from context alone. This study demonstrates that models are usually not being tested for word-in-context representations as such in these tasks and results are therefore open to misinterpretation. We recommend our framework as sanity check for context and target word biases of future task design and application in lexical semantics.
• Abstract（参考訳）: BERTのような最先端のコンテキスト化モデルは、WiCやWSDのようなタスクを使用して、ワード・イン・コンテクストの表現を評価する。 これは本質的に、これらのタスクのパフォーマンスは、モデルが結合された単語とコンテキストの意味をいかにうまく表現しているかを反映していると仮定する。 本研究は,第1の定量的解析(ベースラインの探索)を,主要な文脈的意味論的タスクでテストされる文脈語間相互作用について提示することで,この仮定を考察する。 具体的には,データセットにおける文脈や単語のバイアスの程度を計算し,既存のデータセットを連続体にプロットする手法を提案する。 この分析は、ほとんどの既存のデータセットが連続体の最端(文脈バイアスまたはターゲットワードバイアス)に陥り、AM$^2$iCoとSense Retrievalだけが文脈とターゲットの単語の両方を表現するモデルに挑戦していることを示している。 WiCのケーススタディでは、データセット内で人間の被験者は強い文脈バイアスを共有せず(人間は、ターゲット語が欠けている場合、意味判断がはるかに困難である)、モデルは文脈のみから急激な相関関係を学習している。 本研究は、これらのタスクにおいて、通常、モデルがワード・イン・コンテクスト表現のためにテストされていないことを示す。 我々は、将来的なタスク設計と語彙意味論における応用の文脈と目的語バイアスの正当性チェックとして、我々のフレームワークを推奨する。

関連論文リスト

• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• A Novel Multidimensional Reference Model For Heterogeneous Textual Datasets Using Context, Semantic And Syntactic Clues [4.453735522794044]
  本研究の目的は、異種データセットのカテゴリを用いた新しい多次元参照モデルを作ることである。 MRMの主な貢献は、シノニム、アントロニム、フォーマル、語彙語順、共起といった言語カテゴリーの索引付けに基づいて各用語でそれぞれのトークンをチェックすることである。
  論文  参考訳（メタデータ） (2023-11-10T17:02:25Z)
• Probing Physical Reasoning with Counter-Commonsense Context [34.8562766828087]
  本研究では,物理コモンセンスが文脈化サイズ比較タスクに与える影響について検討する。 このデータセットは、さまざまなコンテキスト下でオブジェクト間のサイズ関係を予測する言語モデルの能力をテストする。
  論文  参考訳（メタデータ） (2023-06-04T04:24:43Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Can NLP Models Correctly Reason Over Contexts that Break the Common Assumptions? [14.991565484636745]
  我々は,NLPモデルが一般的な仮定を破る文脈を正しく推論する能力について検討する。 一般的な仮定に従うコンテキストでかなりうまく機能する一方で、モデルはこれらの仮定を破るコンテキストに対して正しく推論するのに苦労しています。 具体的には、パフォーマンスギャップは20%の絶対点である。
  論文  参考訳（メタデータ） (2023-05-20T05:20:37Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions [87.33156149634392]
  視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。 83.7%のケースでは言語構造に関する推論は不要である。 比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
  論文  参考訳（メタデータ） (2020-05-04T17:09:15Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)
• Don't Judge an Object by Its Context: Learning to Overcome Contextual Bias [113.44471186752018]
  既存のモデルは、認識精度を向上させるために、オブジェクトとそのコンテキスト間の共起を利用することが多い。 この研究は、学習した特徴表現の堅牢性を改善するために、そのような文脈バイアスに対処することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-01-09T18:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。