論文の概要: A Psycholinguistic Analysis of BERT's Representations of Compounds

• arxiv url: http://arxiv.org/abs/2302.07232v1
• Date: Tue, 14 Feb 2023 18:23:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 14:42:16.372658
• Title: A Psycholinguistic Analysis of BERT's Representations of Compounds
• Title（参考訳）: BERTの化合物表現に関する心理学的分析
• Authors: Lars Buijtelaar, Sandro Pezzelle
• Abstract要約: 我々は,トランスフォーマーの語レベルでの意味情報を探究し,BERTが人間の意味的直観と一致するかどうかを検証する研究に基づいて構築する。 我々は、複合意味分析の2つの心理言語学的尺度に基づいて、人間の判断を含むデータセットを活用する。 BERTに基づく尺度は、特に文脈表現を用いた場合、人間の直感と適度に一致していることを示す。
• 参考スコア（独自算出の注目度）: 3.034345346208211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work studies the semantic representations learned by BERT for compounds, that is, expressions such as sunlight or bodyguard. We build on recent studies that explore semantic information in Transformers at the word level and test whether BERT aligns with human semantic intuitions when dealing with expressions (e.g., sunlight) whose overall meaning depends -- to a various extent -- on the semantics of the constituent words (sun, light). We leverage a dataset that includes human judgments on two psycholinguistic measures of compound semantic analysis: lexeme meaning dominance (LMD; quantifying the weight of each constituent toward the compound meaning) and semantic transparency (ST; evaluating the extent to which the compound meaning is recoverable from the constituents' semantics). We show that BERT-based measures moderately align with human intuitions, especially when using contextualized representations, and that LMD is overall more predictable than ST. Contrary to the results reported for 'standard' words, higher, more contextualized layers are the best at representing compound meaning. These findings shed new light on the abilities of BERT in dealing with fine-grained semantic phenomena. Moreover, they can provide insights into how speakers represent compounds.
• Abstract（参考訳）: 本研究は、バートが化合物、すなわち日光やボディーガードといった表現について学んだ意味表現を研究する。 我々は,トランスフォーマーの語レベルでの意味情報を探究する最近の研究に基づいて,BERTが人間の意味的直感(例えば,日光)と一致しているかどうかを,構成語(音,光)の意味論に基づいて検討した。 複合意味分析の2つの心理言語学的尺度(lexeme meaning dominant,lmd;各構成要素の重みを複合意味に向かって定量化する)と意味透過性(st;複合意味が構成要素の意味から回復できる程度を評価する)に関する人間の判断を含むデータセットを活用する。 BERTに基づく尺度は、特に文脈表現を用いた場合において、人間の直感と適度に一致していることを示し、LMDはSTよりも総合的に予測可能であることを示し、標準語で報告された結果とは対照的に、より高次、より文脈化されたレイヤは複合意味を表現するのに最適である。 これらの知見は、細粒なセマンティック現象に対処するBERTの能力に新たな光を当てた。 さらに、スピーカーが化合物をどう表現するかについての洞察を提供することもできる。

関連論文リスト

• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Exploring BERT's Sensitivity to Lexical Cues using Tests from Semantic Priming [8.08493736237816]
  本研究は, セマンティックプライミング(セマンティックプライミング)を用いて, 事前学習したBERTモデルを解析するケーススタディである。 BERTもまた「価格」を示し、文脈が関連語を含む場合と非関連語を含む場合の確率がより大きいことを予測している。 フォローアップ分析では、コンテキストがより情報的になるにつれて、BERTは関連した素語に気を散らす傾向にある。
  論文  参考訳（メタデータ） (2020-10-06T20:30:59Z)
• Pareto Probing: Trading Off Accuracy for Complexity [87.09294772742737]
  我々は,プローブの複雑性と性能の基本的なトレードオフを反映したプローブ計量について論じる。 係り受け解析による実験により,文脈表現と非文脈表現の統語的知識の幅広いギャップが明らかとなった。
  論文  参考訳（メタデータ） (2020-10-05T17:27:31Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Word Interdependence Exposes How LSTMs Compose Representations [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
  論文  参考訳（メタデータ） (2020-04-27T21:48:08Z)
• Quantifying the Contextualization of Word Representations with Semantic Class Probing [8.401007663676214]
  事前訓練された言語モデルは、多くのNLPタスクにおいて、新しい最先端技術を実現している。 単語のセマンティッククラスが文脈化された埋め込みから推測できる範囲を研究することにより、文脈化の量、すなわち、単語が文脈内でどのように解釈されるかの定量化を行う。
  論文  参考訳（メタデータ） (2020-04-25T17:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。