論文の概要: Construction Identification and Disambiguation Using BERT: A Case Study of NPN

• arxiv url: http://arxiv.org/abs/2503.18751v1
• Date: Mon, 24 Mar 2025 14:59:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:39:10.635170
• Title: Construction Identification and Disambiguation Using BERT: A Case Study of NPN
• Title（参考訳）: BERTを用いた構造同定と曖昧化:NPNを事例として
• Authors: Wesley Scivetti, Nathan Schneider,
• Abstract要約: 構築文法は、ある言語の知識は、主に形式的な意味を持つペアの知識から成り立っていると仮定する。 近年の研究では、トランスフォーマー言語モデルは少なくともいくつかの構造パターンを表すことが示されている。 BERTによる英語の形式と意味の表現について検討する。
• 参考スコア（独自算出の注目度）: 6.207615340261365
• License:
• Abstract: Construction Grammar hypothesizes that knowledge of a language consists chiefly of knowledge of form-meaning pairs (''constructions'') that include vocabulary, general grammar rules, and even idiosyncratic patterns. Recent work has shown that transformer language models represent at least some constructional patterns, including ones where the construction is rare overall. In this work, we probe BERT's representation of the form and meaning of a minor construction of English, the NPN (noun-preposition-noun) construction -- exhibited in such expressions as face to face and day to day -- which is known to be polysemous. We construct a benchmark dataset of semantically annotated corpus instances (including distractors that superficially resemble the construction). With this dataset, we train and evaluate probing classifiers. They achieve decent discrimination of the construction from distractors, as well as sense disambiguation among true instances of the construction, revealing that BERT embeddings carry indications of the construction's semantics. Moreover, artificially permuting the word order of true construction instances causes them to be rejected, indicating sensitivity to matters of form. We conclude that BERT does latently encode at least some knowledge of the NPN construction going beyond a surface syntactic pattern and lexical cues.
• Abstract（参考訳）: 構築文法は、ある言語の知識は、主に語彙、一般的な文法規則、さらには慣用的パターンを含む形式的意味のペア(「構成」)の知識から成り立っていると仮定する。 最近の研究は、トランスフォーマー言語モデルが少なくともいくつかの構造パターンを表現していることを示している。 本研究では, 顔と日とで表される NPN (noun-preposition-noun) 構造を多義的に表現する BERT の形式と意味の表現を探索する。 本稿では,意味的注釈付きコーパスインスタンスのベンチマークデータセットを構築した。 このデータセットを用いて、探索分類器を訓練し、評価する。 それらは、邪魔者から建設を適切に区別し、建設の真の事例間の曖昧さを感知し、BERTの埋め込みが建設のセマンティクスの表示を担っていることを明らかにした。 さらに、真の構築インスタンスの単語順序を人工的に置換すると、それらが拒否され、形式的な問題に対する感受性を示す。 BERTは、NPNの構造に関する少なくともいくつかの知識を、表面の構文パターンや語彙的手がかりを超えて符号化していると結論付けている。

関連論文リスト

• Enhancing Language Representation with Constructional Information for Natural Language Understanding [5.945710973349298]
  構成文法(CxG)を導入し,形式と意味のペアリングを強調した。 使用法に基づく構築文法を作業の基盤として採用する。 HyCxGフレームワークは3段階のソリューションを通じて言語表現を強化するために提案されている。
  論文  参考訳（メタデータ） (2023-06-05T12:15:12Z)
• A Method for Studying Semantic Construal in Grammatical Constructions with Interpretable Contextual Embedding Spaces [11.564029462243631]
  本研究では,大言語モデルを用いた文法構成における意味論的コンストラクトについて検討する。 対象位置にある単語は、対象位置にある単語と全く同じ単語よりも、より有効なものとして解釈されることを示す。 本手法は, 特定のレキセムから抽象化された, テンポラティクスレベルでの構文構成の分布的意味を探索することができる。
  論文  参考訳（メタデータ） (2023-05-29T20:30:38Z)
• Assessing Linguistic Generalisation in Language Models: A Dataset for Brazilian Portuguese [4.941630596191806]
  ブラジルポルトガル語で開発されたモデルで符号化された言語情報を検査する本質的な評価課題を提案する。 これらのタスクは、異なる言語モデルが文法構造やマルチワード表現に関連する情報を一般化する方法を評価するために設計されている。
  論文  参考訳（メタデータ） (2023-05-23T13:49:14Z)
• Subject Verb Agreement Error Patterns in Meaningless Sentences: Humans vs. BERT [64.40111510974957]
  英語における主語数合意に意味が干渉するかどうかを検証する。 意味的によく形づくられた、意味のないアイテムを生成します。 BERTと人間はどちらも、セマンティックな操作に敏感である。
  論文  参考訳（メタデータ） (2022-09-21T17:57:23Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• ALL Dolphins Are Intelligent and SOME Are Friendly: Probing BERT for Nouns' Semantic Properties and their Prototypicality [4.915907527975786]
  我々は、参照範囲を制限しない形容詞で表される英語の名詞を構成するためにBERT(Devlin et al.)を探索する。 本研究は,名詞間の関連性の強さと意味的特徴を捉える心理言語学的データセットに基づく。 そこで, BERTでは, 形容詞の意味を推論する上で必要な情報を活用することができた。
  論文  参考訳（メタデータ） (2021-10-12T21:43:37Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• CxGBERT: BERT meets Construction Grammar [1.213915839836187]
  BERTは実際に大量の情報にアクセスでき、その多くを言語学者が一般的に建設情報と呼ぶ。 この観察の影響は、深層学習法がテキストから何を学ぶかについての洞察を提供するとともに、構築物に含まれる情報が余分にレキシコ・セマンティックスに符号化されていることを示すために、潜在的に遠ざかっている。
  論文  参考訳（メタデータ） (2020-11-09T01:39:52Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。