論文の概要: Tracing Morphology, Semantics, and Divergence in Language Acquisition

• arxiv url: http://arxiv.org/abs/2610.19041v1
• Date: Tue, 13 Oct 2026 18:29:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 12:10:45.435904
• Title: Tracing Morphology, Semantics, and Divergence in Language Acquisition
• Title（参考訳）: 言語習得における追跡形態・意味論・多様性
• Abstract要約: オープンソースモデルの中間チェックポイントを利用して、トレーニングステップとモデルスケールにわたる言語習得を調査します。 本研究では, 形態的構造獲得, 埋め込みドリフト, 繰り返し支配, 共起効果の4つのコア特性に着目した。 トレーニングデータセットのサイズが発散認識に肯定的な影響を与えるのに対し、事前学習と推論の繰り返しの共起は発散認識と連想リンク生成に否定的な影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 4.988373530866695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the dynamics of language acquisition in Large Language Models (LLMs) is crucial for uncovering how statistical representations evolve into structured linguistic capabilities. However, most existing studies focus primarily on fully trained models, leaving the developmental trajectory across intermediate training stages largely underexplored. In this work, we leverage intermediate checkpoints from open-source models (e.g., Pythia and OLMo) under teacher-forcing evaluation to systematically investigate language acquisition across training steps and model scales. We focus on four core characteristics: morphological structure acquisition, embedding drift, repetition dominance, and co-occurrence effects. Our findings reveal that models acquire morphological structures well before semantic embeddings stabilize. Furthermore, we show that training dataset size has a positive impact on divergence recognition, while co-occurrence during pre-training and repetition during inference have a negative impact on divergence recognition and associative link generation.
• Abstract（参考訳）: 大規模言語モデル(LLM)における言語習得のダイナミクスを理解することは、統計的表現が構造化言語能力にどのように進化するかを明らかにするために重要である。 しかし、既存のほとんどの研究は、主に完全に訓練されたモデルに焦点を当てており、中間的な訓練段階にわたる発達軌道は、ほとんど探索されていない。 本研究では,オープンソースモデル(例えば Pythia や OLMo)の中間チェックポイントを教師強制評価で活用し,学習段階やモデルスケールの言語習得を体系的に調査する。 本研究では, 形態的構造獲得, 埋め込みドリフト, 繰り返し支配, 共起効果の4つのコア特性に着目した。 本研究により, セマンティック埋め込みが安定化する前に, モデルが形態的構造を取得することが明らかとなった。 さらに,学習データセットのサイズが発散認識に肯定的な影響を与える一方で,事前学習と推論の繰り返しの共起は発散認識と連想リンク生成に否定的な影響を及ぼすことを示した。

関連論文リスト

• Tracking Representation Dynamics in Large Language Models with Persistent Homology [5.665477411284105]
  永続的ホモロジーを用いたアライメントダイナミクスの研究を行う。 トポロジカルリオーガナイゼーションの大部分は,トレーニングの初期段階に発生することが判明した。 異なるアライメントの目的は、区別可能なトポロジカルな軌跡を誘導し、命令調整および事前訓練されたモデルは、質的に異なる進化パターンを示す。
  論文  参考訳（メタデータ） (2026-06-17T19:35:10Z)
• Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models [50.39102836928242]
  モデルの内部状態の力学を研究するために,表現的視点を導入する。 トレーニング後、静的な初期表現品質が限られた改善しか得られないことが判明した。
  論文  参考訳（メタデータ） (2026-01-31T15:23:33Z)
• Alignment among Language, Vision and Action Representations [0.0]
  言語,視覚,行動表現が部分的に共有された意味構造に収束することを示す。 これらの結果は、言語、視覚、行動表現が部分的に共有された意味構造に収束していることを示している。
  論文  参考訳（メタデータ） (2026-01-30T13:12:07Z)
• Schoenfeld's Anatomy of Mathematical Reasoning by Language Models [56.656180566692946]
  我々は、Schoenfeldのエピソード理論を誘導型中間スケールレンズとして採用し、ThinkARM(モデルにおける推論の解剖学)を紹介する。 ThinkARMは、推論トレースを分析、探索、実装、検証などの機能的推論ステップに明示的に抽象化する。 エピソードレベルの表現は推論ステップを明確にし、現代の言語モデルにおける推論がどのように構造化され、安定化され、変更されるかの体系的な分析を可能にする。
  論文  参考訳（メタデータ） (2025-12-23T02:44:25Z)
• Evolution of Concepts in Language Model Pre-Training [53.994470178155105]
  クロスコーダと呼ばれるスパース辞書学習手法を用いて,事前学習スナップショットにおける線形解釈可能な特徴の進化を追跡する。 ほとんどの機能が特定のポイントの周りに形成され始め、さらに複雑なパターンが後のトレーニング段階に現れます。
  論文  参考訳（メタデータ） (2025-09-21T18:53:12Z)
• An Empirical Analysis of Discrete Unit Representations in Speech Language Modeling Pre-training [8.613149007067143]
  モデルアーキテクチャ、データ表現、トレーニングロバスト性が事前学習ステージにどのように影響するかを系統的に検討する。 クラスタ分布と音韻アライメントを調べた結果,離散語彙の有効利用について検討した。
  論文  参考訳（メタデータ） (2025-09-03T18:11:53Z)
• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
  最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。 英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。 以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
  論文  参考訳（メタデータ） (2024-10-17T09:48:08Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。