論文の概要: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs

• arxiv url: http://arxiv.org/abs/2403.19827v2
• Date: Sat, 10 Aug 2024 19:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:38:15.605690
• Title: Language Models Learn Rare Phenomena from Less Rare Phenomena: The Case of the Missing AANNs
• Title（参考訳）: 少ない希少現象から希少現象を学習する言語モデル:行方不明AANNを事例として
• Authors: Kanishka Misra, Kyle Mahowald,
• Abstract要約: 言語モデルは希少な現象から一般化することで希少な文法現象を学習できることを示す。 この結果から, LMが希少な現象から一般化することで, 希少な文法現象を学習できることが示唆された。
• 参考スコア（独自算出の注目度）: 19.81504712176621
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models learn rare syntactic phenomena, but the extent to which this is attributable to generalization vs. memorization is a major open question. To that end, we iteratively trained transformer language models on systematically manipulated corpora which were human-scale in size, and then evaluated their learning of a rare grammatical phenomenon: the English Article+Adjective+Numeral+Noun (AANN) construction (``a beautiful five days''). We compared how well this construction was learned on the default corpus relative to a counterfactual corpus in which AANN sentences were removed. We found that AANNs were still learned better than systematically perturbed variants of the construction. Using additional counterfactual corpora, we suggest that this learning occurs through generalization from related constructions (e.g., ``a few days''). An additional experiment showed that this learning is enhanced when there is more variability in the input. Taken together, our results provide an existence proof that LMs can learn rare grammatical phenomena by generalization from less rare phenomena. Data and code: https://github.com/kanishkamisra/aannalysis.
• Abstract（参考訳）: 言語モデルは、希少な構文現象を学習するが、それが一般化と記憶の融合に起因する範囲は、大きなオープンな問題である。 そこで我々は,人体規模の体系的に操作されたコーパスのトランスフォーマー言語モデルを反復的に訓練し,英語+形容詞+Numeral+Noun(AANN)構築(「美しい5日間」)という稀な文法現象の学習を評価した。 AANN文を削除した対実コーパスに対して, デフォルトコーパスでこの構成がいかにうまく学習されたかを比較した。 AANNは、構成の体系的に摂動された変種よりも、依然として学習されていることが分かりました。 追加の対物コーパスを用いて、この学習は関連する構成(例えば ``a few days'' )からの一般化によって起こることを示唆する。 さらなる実験により、この学習は、入力により多くのばらつきがある場合に強化されることが示された。 この結果から,少ない希少な現象から一般化することで,LMが希少な文法現象を学習できることを示す。 データとコード:https://github.com/kanishkamisra/aannalysis。

関連論文リスト

• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
  本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。 プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。 単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
  論文  参考訳（メタデータ） (2021-09-30T10:38:38Z)
• Falling Through the Gaps: Neural Architectures as Models of Morphological Rule Learning [0.0]
  形態素規則学習のモデルとしてトランスフォーマーを評価した。 英語、ドイツ語、ロシア語のRecurrent Neural Networks(RNN)と比較します。
  論文  参考訳（メタデータ） (2021-05-08T14:48:29Z)
• Probing Across Time: What Does RoBERTa Know and When? [70.20775905353794]
  言語知識は、ドメイン間で高速、安定、そして堅牢に獲得されることを示す。 事実と常識はより遅く、ドメインに敏感です。 クロスタイム探索は、これらのモデルが生み出す複雑で混ざった学習を理解するのに役立ち、必要な学習を迅速に行うためのより効率的なアプローチへと導いてくれると信じています。
  論文  参考訳（メタデータ） (2021-04-16T04:26:39Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
  ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。 直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
  論文  参考訳（メタデータ） (2020-04-06T07:47:34Z)
• A Simple Joint Model for Improved Contextual Neural Lemmatization [60.802451210656805]
  本稿では,20言語で最先端の成果を得られる,単純結合型ニューラルモデルを提案する。 本論文では,トレーニングと復号化に加えて,本モデルについて述べる。
  論文  参考訳（メタデータ） (2019-04-04T02:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。