論文の概要: Language acquisition: do children and language models follow similar
learning stages?
- arxiv url: http://arxiv.org/abs/2306.03586v1
- Date: Tue, 6 Jun 2023 11:08:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 15:55:28.821606
- Title: Language acquisition: do children and language models follow similar
learning stages?
- Title(参考訳): 言語習得: 子供と言語モデルは同様の学習段階に従うか?
- Authors: Linnea Evanson, Yair Lakretz, Jean-R\'emi King
- Abstract要約: 深層言語モデルの学習軌跡と子どもの学習軌跡を比較した。
我々は48のGPT-2モデルをスクラッチからトレーニングし、各トレーニングステップでそれらの構文的および意味的能力を評価する。
次に,これらの評価を,言語生産における54人の子どもの行動と比較した。
- 参考スコア(独自算出の注目度): 2.2881898195409884
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: During language acquisition, children follow a typical sequence of learning
stages, whereby they first learn to categorize phonemes before they develop
their lexicon and eventually master increasingly complex syntactic structures.
However, the computational principles that lead to this learning trajectory
remain largely unknown. To investigate this, we here compare the learning
trajectories of deep language models to those of children. Specifically, we
test whether, during its training, GPT-2 exhibits stages of language
acquisition comparable to those observed in children aged between 18 months and
6 years. For this, we train 48 GPT-2 models from scratch and evaluate their
syntactic and semantic abilities at each training step, using 96 probes curated
from the BLiMP, Zorro and BIG-Bench benchmarks. We then compare these
evaluations with the behavior of 54 children during language production. Our
analyses reveal three main findings. First, similarly to children, the language
models tend to learn linguistic skills in a systematic order. Second, this
learning scheme is parallel: the language tasks that are learned last improve
from the very first training steps. Third, some - but not all - learning stages
are shared between children and these language models. Overall, these results
shed new light on the principles of language acquisition, and highlight
important divergences in how humans and modern algorithms learn to process
natural language.
- Abstract(参考訳): 言語習得中、子供たちは典型的な学習段階に従って、まず音素の分類を学び、語彙を発達させ、次第に複雑な構文構造を習得する。
しかし、この学習の軌跡に繋がる計算原理はほとんど不明である。
そこで本研究では,深層言語モデルの学習軌跡と子どもの学習軌跡を比較した。
具体的には, GPT-2が18歳から6歳までの子どもに比較して, 言語習得の段階を示すかを検討した。
そこで我々は,48 GPT-2モデルをスクラッチからトレーニングし,BLiMP,Zorro,BIG-Benchベンチマークから算出した96個のプローブを用いて,各トレーニングステップにおける構文的および意味的能力を評価する。
そして、これらの評価を54人の子どもの言語生産における行動と比較した。
我々の分析は3つの主要な発見を明らかにした。
まず、子どもと同様に、言語モデルは体系的な順序で言語スキルを学ぶ傾向がある。
第2に、この学習スキームは並列であり、最後に学習される言語タスクは、最初のトレーニングステップから改善される。
第3に、学習段階は子供とこれらの言語モデルの間で共有される。
全体として、これらの結果は言語獲得の原則に新たな光を当て、人間と現代のアルゴリズムが自然言語を処理する方法を学ぶ上で重要な相違点を浮き彫りにした。
関連論文リスト
- Language Imbalance Can Boost Cross-lingual Generalisation [57.273662221547056]
本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。
学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。
分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
論文 参考訳(メタデータ) (2024-04-11T17:58:05Z) - Opening the black box of language acquisition [0.0]
我々は、学習言語のための、より透明で認知的に妥当なアーキテクチャを提案する。
ディープラーニングの代わりに、シーケンスメモリとチャンキングに基づいた最小限の認知アーキテクチャを使用します。
その結果、モデルがこれらの人工言語をスクラッチから学習し、学習を支援する文法情報を抽出できることが示唆された。
論文 参考訳(メタデータ) (2024-02-18T19:11:58Z) - A systematic investigation of learnability from single child linguistic
input [13.800975990242922]
言語モデル(LM)は言語的に一貫性のあるテキストを生成するのに顕著な能力を示した。
しかし、これらのモデルのトレーニングデータと、子供が受ける言語的入力との間には、大きなギャップがある。
本研究は, 一人の子どもの言語入力のサブセットに基づいて, LMを訓練することに焦点を当てた。
論文 参考訳(メタデータ) (2024-02-12T18:58:58Z) - BabySLM: language-acquisition-friendly benchmark of self-supervised
spoken language models [56.93604813379634]
音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。
語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。
テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
論文 参考訳(メタデータ) (2023-06-02T12:54:38Z) - Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。
我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。
1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文 参考訳(メタデータ) (2023-03-14T17:05:08Z) - Is neural language acquisition similar to natural? A chronological
probing study [0.0515648410037406]
本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。
コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。
その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
論文 参考訳(メタデータ) (2022-07-01T17:24:11Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳(メタデータ) (2022-05-24T03:35:00Z) - Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。
すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
論文 参考訳(メタデータ) (2021-10-09T07:00:38Z) - Word Acquisition in Neural Language Models [0.38073142980733]
ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。
子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
論文 参考訳(メタデータ) (2021-10-05T23:26:16Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳(メタデータ) (2020-10-06T05:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。