論文の概要: Humans and transformer LMs: Abstraction drives language learning

• arxiv url: http://arxiv.org/abs/2603.17475v1
• Date: Wed, 18 Mar 2026 08:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.58181
• Title: Humans and transformer LMs: Abstraction drives language learning
• Title（参考訳）: 人間とトランスフォーマーのLM:抽象は言語学習を促進する
• Authors: Jasper Jian, Christopher D. Manning,
• Abstract要約: 本稿では,トランスフォーマーに基づく言語モデルが言語カテゴリーをどのように学習するかを検討する。 構成が学習されると、構文的なクラスレベルの振る舞いは、語彙的なアイテム固有の振る舞いよりも早い段階で明らかになる。
• 参考スコア（独自算出の注目度）: 32.87902816038439
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Categorization is a core component of human linguistic competence. We investigate how a transformer-based language model (LM) learns linguistic categories by comparing its behaviour over the course of training to behaviours which characterize abstract feature-based and concrete exemplar-based accounts of human language acquisition. We investigate how lexical semantic and syntactic categories emerge using novel divergence-based metrics that track learning trajectories using next-token distributions. In experiments with GPT-2 small, we find that (i) when a construction is learned, abstract class-level behaviour is evident at earlier steps than lexical item-specific behaviour, and (ii) that different linguistic behaviours emerge abruptly in sequence at different points in training, revealing that abstraction plays a key role in how LMs learn. This result informs the models of human language acquisition that LMs may serve as an existence proof for.
• Abstract（参考訳）: 分類は人間の言語能力の中核的な構成要素である。 本研究では,トランスフォーマーに基づく言語モデル(LM)が,言語習得の抽象的特徴ベースおよび具体的経験に基づく説明を特徴付ける行動に対して,学習過程におけるその行動を比較して言語カテゴリーを学習する方法を検討する。 本研究は,学習軌跡を次々に追跡する新しい発散指標を用いて,語彙意味カテゴリーと構文カテゴリーがどのように出現するかを考察する。 GPT-2を小型化した実験で、我々はそれを見いだした。 (i)構成が学習されると、語彙項目固有の行動よりも早い段階で抽象クラスレベルの行動が明らかとなり、 二 異なる言語行動が訓練の異なる点において突然出現し、抽象がLMの学習の仕方において重要な役割を担っていることを明らかにすること。 この結果は、人間の言語習得のモデルに、LMが存在証明として機能する可能性があることを知らせる。

関連論文リスト

• Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics [56.145578792496714]
  大規模言語モデル(LLM)は言語間知識伝達に苦慮している。 我々は,この現象の原因とダイナミクスを,合成多言語データセット上でスクラッチから小さなトランスフォーマーモデルを訓練することによって研究する。
  論文  参考訳（メタデータ） (2025-08-14T18:44:13Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Language Evolution with Deep Learning [49.879239655532324]
  計算モデリングは言語の出現の研究において重要な役割を担っている。 構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。 この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
  論文  参考訳（メタデータ） (2024-03-18T16:52:54Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Language Models Use Monotonicity to Assess NPI Licensing [8.856422030608188]
  言語モデル(LM)の意味的知識について検討する。 本研究は、これらのLMが意味的単調性特性に基づいて言語環境のカテゴリを作成するかどうか、およびこれらのカテゴリが人間の言語理解と同様の役割を担っているかどうかに焦点を当てる。
  論文  参考訳（メタデータ） (2021-05-28T13:32:00Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Discourse structure interacts with reference but not syntax in neural language models [17.995905582226463]
  本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。 人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。 以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-10T03:14:00Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。