論文の概要: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs

• arxiv url: http://arxiv.org/abs/2403.19827v1
• Date: Thu, 28 Mar 2024 20:35:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 17:13:56.528701
• Title: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs
• Title（参考訳）: 少ない希少現象から希少現象を学習する言語モデル:行方不明AANNを事例として
• Authors: Kanishka Misra, Kyle Mahowald,
• Abstract要約: 言語モデルは希少な構文現象を学習するが、それらは暗記に依存していると論じられている。 我々は、体系的に操作されたコーパスの言語モデルを繰り返し訓練し、希少な文法現象の学習を評価した。 この結果から,比較的希少な現象からの一般化により,モデルが希少な文法現象を学習することを示す。
• 参考スコア（独自算出の注目度）: 19.81504712176621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models learn rare syntactic phenomena, but it has been argued that they rely on rote memorization, as opposed to grammatical generalization. Training on a corpus of human-scale in size (100M words), we iteratively trained transformer language models on systematically manipulated corpora and then evaluated their learning of a particular rare grammatical phenomenon: the English Article+Adjective+Numeral+Noun (AANN) construction (``a beautiful five days''). We first compared how well this construction was learned on the default corpus relative to a counterfactual corpus in which the AANN sentences were removed. AANNs were still learned better than systematically perturbed variants of the construction. Using additional counterfactual corpora, we suggest that this learning occurs through generalization from related constructions (e.g., ``a few days''). An additional experiment showed that this learning is enhanced when there is more variability in the input. Taken together, our results provide an existence proof that models learn rare grammatical phenomena by generalization from less rare phenomena. Code available at https://github.com/kanishkamisra/aannalysis
• Abstract（参考訳）: 言語モデルは稀な構文現象を学習するが、文法的な一般化とは対照的に、ロート記憶に依存していると論じられている。 人体サイズのコーパス(100万語)を訓練し、体系的に操作されたコーパス上でトランスフォーマー言語モデルを反復的に訓練し、その後、英文+形容詞+Numeral+Noun(AANN)構築(「美しい5日間」)という、特定の稀な文法現象の学習を評価した。 AANN文を削除した対実コーパスに対して,この構築がデフォルトコーパスでどの程度うまく学習されたかを比較した。 AANNは、建設の体系的に摂動された派生型よりも、いまだによく学習されていた。 追加の対物コーパスを用いて、この学習は関連する構成(例えば ``a few days'' )からの一般化によって起こることを示唆する。 さらなる実験により、この学習は、入力により多くのばらつきがある場合に強化されることが示された。 この結果から,比較的希少な現象から一般化することで,モデルが希少な文法現象を学習することを示す。 code available at https://github.com/kanishkamisra/aannalysis

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
  本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。 プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。 単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
  論文  参考訳（メタデータ） (2021-09-30T10:38:38Z)
• Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning [0.0]
  形態素規則学習のモデルとしてトランスフォーマーを評価した。 英語、ドイツ語、ロシア語のRecurrent Neural Networks(RNN)と比較します。
  論文  参考訳（メタデータ） (2021-05-08T14:48:29Z)
• Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
  言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。 事実と常識はより遅く、ドメインに敏感です。 クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
  論文  参考訳（メタデータ） (2021-04-16T04:26:39Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
  ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。 直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
  論文  参考訳（メタデータ） (2020-04-06T07:47:34Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。