論文の概要: Syntactic Persistence in Language Models: Priming as a Window into
Abstract Language Representations
- arxiv url: http://arxiv.org/abs/2109.14989v1
- Date: Thu, 30 Sep 2021 10:38:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 22:37:04.085901
- Title: Syntactic Persistence in Language Models: Priming as a Window into
Abstract Language Representations
- Title(参考訳): 言語モデルにおける構文パーシステンス:抽象言語表現への窓としてのプライミング
- Authors: Arabella Sinclair, Jaap Jumelet, Willem Zuidema, Raquel Fern\'andez
- Abstract要約: 本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。
プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。
単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
- 参考スコア(独自算出の注目度): 0.38498574327875945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the extent to which modern, neural language models are
susceptible to syntactic priming, the phenomenon where the syntactic structure
of a sentence makes the same structure more probable in a follow-up sentence.
We explore how priming can be used to study the nature of the syntactic
knowledge acquired by these models. We introduce a novel metric and release
Prime-LM, a large corpus where we control for various linguistic factors which
interact with priming strength. We find that recent large Transformer models
indeed show evidence of syntactic priming, but also that the syntactic
generalisations learned by these models are to some extent modulated by
semantic information. We report surprisingly strong priming effects when
priming with multiple sentences, each with different words and meaning but with
identical syntactic structure. We conclude that the syntactic priming paradigm
is a highly useful, additional tool for gaining insights into the capacities of
language models.
- Abstract(参考訳): 文の構文構造が同じ構造を後続文でより有意なものにする現象である構文プライミング(syntactic priming)に,現代のニューラル言語モデルがどの程度の影響を受けやすいかを検討する。
これらのモデルによって得られた構文的知識の性質を研究するためにプライミングがどのように利用できるかを検討する。
プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。
近年の大規模トランスフォーマーモデルでは、構文的プライミングの証拠が実際に見られるが、これらのモデルによって学習された構文的一般化は意味情報によってある程度変調される。
異なる単語と意味を持つが、同じ構文構造を持つ複数の文でプライミングする場合、驚くほど強いプライミング効果が報告される。
構文的プライミングパラダイムは、言語モデルの能力に関する洞察を得る上で、非常に有用な追加ツールである、と結論づける。
関連論文リスト
- Probabilistic Transformer: A Probabilistic Dependency Model for
Contextual Word Representation [52.270712965271656]
本稿では,文脈表現の新しいモデルを提案する。
モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。
実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
論文 参考訳(メタデータ) (2023-11-26T06:56:02Z) - Large Language Models for Scientific Synthesis, Inference and
Explanation [56.41963802804953]
大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。
我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。
このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
論文 参考訳(メタデータ) (2023-10-12T02:17:59Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on
a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。
名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文 参考訳(メタデータ) (2022-04-14T11:33:15Z) - Oracle Linguistic Graphs Complement a Pretrained Transformer Language
Model: A Cross-formalism Comparison [13.31232311913236]
言語グラフ表現が神経言語モデリングを補完し改善する程度について検討する。
全体としては、セマンティックな選挙区構造は言語モデリングのパフォーマンスに最も有用である。
論文 参考訳(メタデータ) (2021-12-15T04:29:02Z) - Causal Analysis of Syntactic Agreement Mechanisms in Neural Language
Models [40.83377935276978]
本研究は、訓練済みニューラルネットワークモデルに因果媒介分析を適用した。
文法的屈折に対するモデルの好みの大きさについて検討する。
本研究は, 構文構造に応じて, 主語と主語を一致させる2つのメカニズムを観察する。
論文 参考訳(メタデータ) (2021-06-10T23:50:51Z) - Structural Supervision Improves Few-Shot Learning and Syntactic
Generalization in Neural Language Models [47.42249565529833]
人間は最小限の経験から単語に関する構造的特性を学ぶことができる。
我々は、現代のニューラル言語モデルがこの行動を英語で再現する能力を評価する。
論文 参考訳(メタデータ) (2020-10-12T14:12:37Z) - Exploiting Syntactic Structure for Better Language Modeling: A Syntactic
Distance Approach [78.77265671634454]
我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。
Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
論文 参考訳(メタデータ) (2020-05-12T15:35:00Z) - Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。
13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。
どちらのモデルも、SUDよりもUDを好むことが分かりました。
論文 参考訳(メタデータ) (2020-04-29T11:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。