論文の概要: Investigating Critical Period Effects in Language Acquisition through Neural Language Models

• arxiv url: http://arxiv.org/abs/2407.19325v2
• Date: Sun, 6 Oct 2024 20:23:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 14:38:53.638121
• Title: Investigating Critical Period Effects in Language Acquisition through Neural Language Models
• Title（参考訳）: ニューラル言語モデルによる言語習得における臨界期間の影響の検討
• Authors: Ionut Constantinescu, Tiago Pimentel, Ryan Cotterell, Alex Warstadt,
• Abstract要約: 第二言語 (L2) の習得は幼少期以降難しくなる。 この期間以降、第1言語(L1)への露出を緩和することは、通常、L1の習熟度を著しく低下させることはない。 これらのCP効果が自然に決定された脳の成熟によるものなのか、または経験によって自然に誘発される神経接続の安定化であるのかは不明である。
• 参考スコア（独自算出の注目度）: 70.6367059367609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans appear to have a critical period (CP) for language acquisition: Second language (L2) acquisition becomes harder after early childhood, and ceasing exposure to a first language (L1) after this period (but not before) typically does not lead to substantial loss of L1 proficiency. It is unknown whether these CP effects result from innately determined brain maturation or as a stabilization of neural connections naturally induced by experience. In this study, we use language models (LMs) to test the extent to which these phenomena are peculiar to humans, or shared by a broader class of language learners. We vary the age of exposure by training LMs on language pairs in various experimental conditions, and find that LMs, which lack any direct analog to innate maturational stages, do not show CP effects when the age of exposure of L2 is delayed. Our results contradict the claim that CP effects are an inevitable result of statistical learning, and they are consistent with an innate mechanism for CP effects. We show that we can reverse-engineer the CP by introducing a regularizer partway through training to simulate a maturational decrease in plasticity. All in all, our results suggest that L1 learning on its own may not be enough to induce a CP, and additional engineering is necessary to make language models more cognitively plausible.
• Abstract（参考訳）: 第二言語 (L2) の習得は幼少期以降に難しくなり、この時代以降(以前ではないが)第1言語 (L1) への露出を緩和することは、通常、L1 の習熟度を著しく損なうことはない。 これらのCP効果が自然に決定された脳の成熟によるものなのか、または経験によって自然に誘発される神経接続の安定化であるのかは不明である。 本研究では、言語モデル(LM)を用いて、これらの現象が人間特有のものであるか、あるいはより広範な言語学習者によって共有されているかをテストする。 また,L2の曝露時期が遅れた場合に,自然成熟期と直接類似しないLMがCP効果を示すことが確認された。 本結果は,CP効果は統計的学習の必然的な結果であり,CP効果の自然メカニズムと矛盾するものである。 我々は, 可塑性の成熟度低下をシミュレートするために, トレーニングを通じてレギュレータ部分ウェイを導入することにより, CPをリバースエンジニアリングできることを示す。 以上の結果から,L1学習自体がCPを誘導するには不十分である可能性が示唆され,言語モデルをより認知的確固たるものにするためには,さらなるエンジニアリングが必要である。

関連論文リスト

• Is In-Context Learning a Type of Gradient-Based Learning? Evidence from the Inverse Frequency Effect in Structural Priming [6.408190458163885]
  大規模言語モデル(LLM)は、文脈内学習(ICL)の創発的能力を示している。 我々は、ICLが勾配学習と機能的に等価であるかどうかを診断する新しい方法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T17:06:41Z)
• InstructionCP: A fast approach to transfer Large Language Models into target language [55.2480439325792]
  InsCPは命令タグをCPプロセスに統合し、新しい言語を習得する際の会話能力の喪失を防ぐ。 実験の結果,InsCPは人間のフィードバック能力から会話と強化学習を維持していることがわかった。 このアプローチでは、高品質な命令追従データを0.1億トークンしか必要とせず、それによってリソース消費が減少する。
  論文  参考訳（メタデータ） (2024-05-30T15:45:13Z)
• Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
  本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。 入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-14T03:33:46Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• The Hydra Effect: Emergent Self-repair in Language Model Computations [8.323441767835257]
  因果解析を用いた言語モデル計算の内部構造について検討する。 1) 言語モデルの1つの注意層のアブレーションによって別のレイヤが別のレイヤを発生させる適応型計算の形式を示す。 我々はこれらの効果を事実記憶の文脈で分析し、それらが言語モデルにおける回路レベルの属性に与える影響を考察する。
  論文  参考訳（メタデータ） (2023-07-28T19:13:26Z)
• Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps [75.84770193489639]
  音声ブックを聴く被験者の機能的磁気共鳴イメージングの時間軸予測に及ぼすテスト損失,トレーニングコーパス,モデルアーキテクチャの影響について検討した。 各モデルの訓練されていないバージョンは、同じ単語をまたいだ脳反応の類似性を捉えることで、脳内のかなりの量のシグナルをすでに説明していることがわかりました。 ニューラル言語モデルを用いたヒューマン・ランゲージ・システムの説明を目的とした今後の研究の実践を提案する。
  論文  参考訳（メタデータ） (2022-07-07T15:37:17Z)
• Is the Language Familiarity Effect gradual? A computational modelling approach [14.83230292969134]
  本研究では、言語親和性効果のモデルを用いて、その効果の段階的な測定値が得られることを示す。 この効果は幅広い言語にまたがって再現され、その普遍性のさらなる証拠となる。 また,LFEの段階的尺度に基づいて,同じ家系に属する言語がLFEに与える影響を裏付ける結果を得た。
  論文  参考訳（メタデータ） (2022-06-27T16:08:42Z)
• Is the Computation of Abstract Sameness Relations Human-Like in Neural Language Models? [4.0810783261728565]
  この研究は、人間の認知から知られている基本的なメカニズムを、最先端のNLPモデルが示すかどうかを考察する。 抽象的同性関係」の計算は、人間の言語習得と処理において重要な役割を果たしていると考えられている。
  論文  参考訳（メタデータ） (2022-05-12T15:19:54Z)
• A bifurcation threshold for contact-induced language change [0.0]
  本稿では,強化学習と非線形力学に基づく,そのような状況の数学的モデルを提案する。 このモデルは、アフリカーンのモルフォロジーレベルリングと、アフロ・ペルー・スペイン語におけるヌル人の浸食という2つのケーススタディの助けを借りて評価された。
  論文  参考訳（メタデータ） (2021-11-23T18:21:12Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。