論文の概要: Language Models Can Learn Exceptions to Syntactic Rules

• arxiv url: http://arxiv.org/abs/2306.05969v1
• Date: Fri, 9 Jun 2023 15:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 12:52:42.907865
• Title: Language Models Can Learn Exceptions to Syntactic Rules
• Title（参考訳）: 言語モデルは構文規則の例外を学習できる
• Authors: Cara Su-Yi Leong and Tal Linzen
• Abstract要約: 人工ニューラルネットワークは、新しい文脈に生産的に一般化できることを示す。 また、能動対受動音声における動詞の相対的受容性は、それらの音声における動詞の相対的受容頻度と正の相関性を示す。
• 参考スコア（独自算出の注目度）: 22.810889064523167
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial neural networks can generalize productively to novel contexts. Can they also learn exceptions to those productive rules? We explore this question using the case of restrictions on English passivization (e.g., the fact that "The vacation lasted five days" is grammatical, but "*Five days was lasted by the vacation" is not). We collect human acceptability judgments for passive sentences with a range of verbs, and show that the probability distribution defined by GPT-2, a language model, matches the human judgments with high correlation. We also show that the relative acceptability of a verb in the active vs. passive voice is positively correlated with the relative frequency of its occurrence in those voices. These results provide preliminary support for the entrenchment hypothesis, according to which learners track and uses the distributional properties of their input to learn negative exceptions to rules. At the same time, this hypothesis fails to explain the magnitude of unpassivizability demonstrated by certain individual verbs, suggesting that other cues to exceptionality are available in the linguistic input.
• Abstract（参考訳）: 人工ニューラルネットワークは、新しい文脈に生産的に一般化することができる。 生産的なルールの例外も学べるだろうか? 英語のパッシビゼーション制限の場合(例えば、「休暇が5日間続いた」が文法的であるが、「休暇が5日間続いた」という事実はそうではない)を用いてこの問題を考察する。 我々は,受動的文に対する受理性判定を動詞の範囲で収集し,言語モデルであるGPT-2で定義される確率分布が高い相関関係で人間の判断と一致することを示す。 また、能動音声とパッシブ音声における動詞の相対的受容性は、それらの音声における動詞の出現頻度と正の相関を示す。 これらの結果は、学習者が入力の分布特性を追跡・利用し、負の例外をルールに学習する、エンレンチメント仮説の予備的サポートを提供する。 同時に、この仮説は特定の動詞によって示される不パッシビリティの程度を説明できず、他の例外性への手がかりが言語入力で利用可能であることを示唆している。

関連論文リスト

• Testing learning hypotheses using neural networks by manipulating learning data [20.525923251193472]
  ニューラルネットワーク言語モデルでは、人間が表示するものと類似した受動的制約を学習できることが示される。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。
  論文  参考訳（メタデータ） (2024-07-05T15:41:30Z)
• Assessing the influence of attractor-verb distance on grammatical agreement in humans and language models [0.2934352211707039]
  主名詞と動詞の間にアトラクター名詞が存在する場合の主動詞合意は複雑な行動を引き起こす。 我々は文の長さを等しく保ちながら、アトラクターと動詞の間の距離を変調する。 反応時間に対するアトラクタ距離の線形効果を報告する。
  論文  参考訳（メタデータ） (2023-11-28T17:25:34Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Montague semantics and modifier consistency measurement in neural language models [1.6799377888527685]
  本研究では,現代言語モデルにおける構成行動を測定する手法を提案する。 具体的には,形容詞・名詞句における形容詞修飾子現象に着目した。 実験結果から,現在のニューラル言語モデルが期待される言語理論に従って,限られた範囲でのみ動作することが示唆された。
  論文  参考訳（メタデータ） (2022-10-10T18:43:16Z)
• Naturalistic Causal Probing for Morpho-Syntax [76.83735391276547]
  スペインにおける実世界のデータに対する入力レベルの介入に対する自然主義的戦略を提案する。 提案手法を用いて,共同設立者から文章中の形態・症状の特徴を抽出する。 本研究では,事前学習したモデルから抽出した文脈化表現に対する性別と数字の因果効果を解析するために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-05-14T11:47:58Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Refining Targeted Syntactic Evaluation of Language Models [6.991281327290524]
  英語における主語数合意の目標構文評価(TSE) 言語モデルが各文法文を非文法文よりも高い確率で評価するかどうかを評価する。 TSEは、言語モデルの体系性を過大評価しているが、モデルが予測する動詞のスコアが40%向上することは、文脈において起こりそうだ。
  論文  参考訳（メタデータ） (2021-04-19T20:55:13Z)
• ConjNLI: Natural Language Inference Over Conjunctive Sentences [89.50542552451368]
  連接文における連接関係の推論は、連接関係のより深い理解にとって重要である。 既存のNLIストレステストでは、結合の非ブール的使用は考慮されていない。 本稿では,接続文に対する自然言語推論のためのストレステストであるConjNLIを紹介する。
  論文  参考訳（メタデータ） (2020-10-20T16:29:13Z)
• Investigating Cross-Linguistic Adjective Ordering Tendencies with a Latent-Variable Model [66.84264870118723]
  本稿では,多言語形容詞順序付けを潜在変数モデルとして,初めて純粋コーパス駆動モデルを提案する。 我々は普遍的、言語横断的、階層的形容詞順序付け傾向の存在の強い確固たる証拠を提供する。
  論文  参考訳（メタデータ） (2020-10-09T18:27:55Z)
• Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment [17.995905582226463]
  英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。 英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
  論文  参考訳（メタデータ） (2020-05-01T01:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。