論文の概要: Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT

• arxiv url: http://arxiv.org/abs/2209.10538v1
• Date: Wed, 21 Sep 2022 17:57:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 16:07:32.575175
• Title: Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT
• Title（参考訳）: 無意味文における主語動詞の誤りパターン:人間対BERT
• Authors: Karim Lasri and Olga Seminck and Alessandro Lenci and Thierry Poibeau
• Abstract要約: 英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
• 参考スコア（独自算出の注目度）: 64.40111510974957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both humans and neural language models are able to perform subject-verb number agreement (SVA). In principle, semantics shouldn't interfere with this task, which only requires syntactic knowledge. In this work we test whether meaning interferes with this type of agreement in English in syntactic structures of various complexities. To do so, we generate both semantically well-formed and nonsensical items. We compare the performance of BERT-base to that of humans, obtained with a psycholinguistic online crowdsourcing experiment. We find that BERT and humans are both sensitive to our semantic manipulation: They fail more often when presented with nonsensical items, especially when their syntactic structure features an attractor (a noun phrase between the subject and the verb that has not the same number as the subject). We also find that the effect of meaningfulness on SVA errors is stronger for BERT than for humans, showing higher lexical sensitivity of the former on this task.
• Abstract（参考訳）: 人間とニューラルランゲージモデルの両方が、主語数合意(SVA)を実行することができる。 原則として、意味論はこのタスクを妨害するべきではない。 本研究では, 意味が様々な複合の構文構造において, 英語におけるこのような合意に干渉するかどうかを検証した。 そのため、意味的によくできたものと意味のないものの両方を生成します。 我々は,BERTベースと人間のパフォーマンスを比較し,心理言語学的オンラインクラウドソーシング実験を行った。 BERTと人間は、意味的な操作に敏感で、意味のない項目を提示すると失敗することが多く、特に、その構文構造がアトラクタ(被写体と同一数でない動詞の間の名詞句)を特徴付けると失敗する。 また,SVA誤差に対する有意性の影響は,BERTでは人間よりも強く,前者の語彙感度が高いことがわかった。

関連論文リスト

• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• A Psycholinguistic Analysis of BERT's Representations of Compounds [3.034345346208211]
  我々は,トランスフォーマーの語レベルでの意味情報を探究し,BERTが人間の意味的直観と一致するかどうかを検証する研究に基づいて構築する。 我々は、複合意味分析の2つの心理言語学的尺度に基づいて、人間の判断を含むデータセットを活用する。 BERTに基づく尺度は、特に文脈表現を用いた場合、人間の直感と適度に一致していることを示す。
  論文  参考訳（メタデータ） (2023-02-14T18:23:15Z)
• Abstraction not Memory: BERT and the English Article System [1.1064955465386002]
  我々は,3つの選択肢(a/an,the,0)として設定された記事予測タスクにおいて,ネイティブ英語話者と事前学習モデルの性能を比較した。 BERTによる実験では、BERTは全ての記事において、このタスクにおいて人間よりも優れています。
  論文  参考訳（メタデータ） (2022-06-08T22:36:54Z)
• How Does Adversarial Fine-Tuning Benefit BERT? [16.57274211257757]
  敵の訓練は、機械学習における敵の攻撃を防御する最も信頼できる方法の1つである。 逆向きに微調整されたモデルはBERTの言語モデリング行動に忠実であり、語順に敏感であることを示す。 分析の結果,バニラ微調整は文表現を単純化し,単語のラベル表示に重きを置いていることがわかった。
  論文  参考訳（メタデータ） (2021-08-31T03:39:06Z)
• RAW-C: Relatedness of Ambiguous Words--in Context (A New Lexical Resource for English) [2.792030485253753]
  文脈的埋め込みが単語の意味の連続的、動的性質にどの程度適合しているかを評価する。 我々は、コサイン距離が、人間が同じ単語の感覚をいかに利用しているかを体系的に過小評価していることを示す。 本稿では,精神語彙の心理言語学理論と語彙意味論の計算モデルとの合成を提案する。
  論文  参考訳（メタデータ） (2021-05-27T16:07:13Z)
• Towards Abstract Relational Learning in Human Robot Interaction [73.67226556788498]
  人間は環境における実体を豊かに表現する。 ロボットが人間とうまく対話する必要がある場合、同様の方法で実体、属性、一般化を表現する必要がある。 本研究では,人間とロボットの相互作用を通じて,これらの表現をどのように獲得するかという課題に対処する。
  論文  参考訳（メタデータ） (2020-11-20T12:06:46Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming [8.08493736237816]
  本研究は, セマンティックプライミング(セマンティックプライミング)を用いて, 事前学習したBERTモデルを解析するケーススタディである。 BERTもまた「価格」を示し、文脈が関連語を含む場合と非関連語を含む場合の確率がより大きいことを予測している。 フォローアップ分析では、コンテキストがより情報的になるにつれて、BERTは関連した素語に気を散らす傾向にある。
  論文  参考訳（メタデータ） (2020-10-06T20:30:59Z)
• Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
  我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。 単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。 これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
  論文  参考訳（メタデータ） (2020-10-05T17:19:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。