論文の概要: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs
- arxiv url: http://arxiv.org/abs/2403.19827v1
- Date: Thu, 28 Mar 2024 20:35:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-01 17:13:56.528701
- Title: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs
- Title(参考訳): 少ない希少現象から希少現象を学習する言語モデル:行方不明AANNを事例として
- Authors: Kanishka Misra, Kyle Mahowald,
- Abstract要約: 言語モデルは希少な構文現象を学習するが、それらは暗記に依存していると論じられている。
我々は、体系的に操作されたコーパスの言語モデルを繰り返し訓練し、希少な文法現象の学習を評価した。
この結果から,比較的希少な現象からの一般化により,モデルが希少な文法現象を学習することを示す。
- 参考スコア(独自算出の注目度): 19.81504712176621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models learn rare syntactic phenomena, but it has been argued that they rely on rote memorization, as opposed to grammatical generalization. Training on a corpus of human-scale in size (100M words), we iteratively trained transformer language models on systematically manipulated corpora and then evaluated their learning of a particular rare grammatical phenomenon: the English Article+Adjective+Numeral+Noun (AANN) construction (``a beautiful five days''). We first compared how well this construction was learned on the default corpus relative to a counterfactual corpus in which the AANN sentences were removed. AANNs were still learned better than systematically perturbed variants of the construction. Using additional counterfactual corpora, we suggest that this learning occurs through generalization from related constructions (e.g., ``a few days''). An additional experiment showed that this learning is enhanced when there is more variability in the input. Taken together, our results provide an existence proof that models learn rare grammatical phenomena by generalization from less rare phenomena. Code available at https://github.com/kanishkamisra/aannalysis
- Abstract(参考訳): 言語モデルは稀な構文現象を学習するが、文法的な一般化とは対照的に、ロート記憶に依存していると論じられている。
人体サイズのコーパス(100万語)を訓練し、体系的に操作されたコーパス上でトランスフォーマー言語モデルを反復的に訓練し、その後、英文+形容詞+Numeral+Noun(AANN)構築(「美しい5日間」)という、特定の稀な文法現象の学習を評価した。
AANN文を削除した対実コーパスに対して,この構築がデフォルトコーパスでどの程度うまく学習されたかを比較した。
AANNは、建設の体系的に摂動された派生型よりも、いまだによく学習されていた。
追加の対物コーパスを用いて、この学習は関連する構成(例えば ``a few days'' )からの一般化によって起こることを示唆する。
さらなる実験により、この学習は、入力により多くのばらつきがある場合に強化されることが示された。
この結果から,比較的希少な現象から一般化することで,モデルが希少な文法現象を学習することを示す。
code available at https://github.com/kanishkamisra/aannalysis
関連論文リスト
- Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。
実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
論文 参考訳(メタデータ) (2022-10-23T00:37:08Z) - Syntactic Persistence in Language Models: Priming as a Window into
Abstract Language Representations [0.38498574327875945]
本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。
プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。
単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
論文 参考訳(メタデータ) (2021-09-30T10:38:38Z) - Falling Through the Gaps: Neural Architectures as Models of
Morphological Rule Learning [0.0]
形態素規則学習のモデルとしてトランスフォーマーを評価した。
英語、ドイツ語、ロシア語のRecurrent Neural Networks(RNN)と比較します。
論文 参考訳(メタデータ) (2021-05-08T14:48:29Z) - Understanding by Understanding Not: Modeling Negation in Language Models [81.21351681735973]
否定は自然言語の中核構造である。
本稿では,否定された総称文に基づく不一致目的を用いて,言語モデリング目標の強化を提案する。
否定されたLAMAデータセットの平均top1エラー率を4%に削減します。
論文 参考訳(メタデータ) (2021-05-07T21:58:35Z) - Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。
事実と常識はより遅く、ドメインに敏感です。
クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
論文 参考訳(メタデータ) (2021-04-16T04:26:39Z) - Word Frequency Does Not Predict Grammatical Knowledge in Language Models [2.1984302611206537]
言語モデルの精度には,系統的な変化源が存在するかを検討する。
特定の名詞は他の名詞よりも体系的によく理解されており、文法的タスクや異なる言語モデルに対して頑健である。
名詞の文法的特性は,様々な訓練データからほとんど学習されないことが判明した。
論文 参考訳(メタデータ) (2020-10-26T19:51:36Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳(メタデータ) (2020-10-06T05:15:39Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳(メタデータ) (2020-09-27T02:13:38Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z) - An Analysis of the Utility of Explicit Negative Examples to Improve the
Syntactic Abilities of Neural Language Models [32.183409062294466]
ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。
直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
論文 参考訳(メタデータ) (2020-04-06T07:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。