論文の概要: Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns

• arxiv url: http://arxiv.org/abs/2606.27460v1
• Date: Thu, 25 Jun 2026 18:34:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.28983
• Title: Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns
• Title（参考訳）: 発達的アプローチによるニューラルネットワークモデルの統計的学習:最も抽象的な統計パターンから変換器を一般化する
• Abstract要約: ニューラルネットワークモデル(NLM)の統計的学習とメンタル表現について検討する。 我々はNLMが学習開始時に最も抽象的なグローバル統計知識を取得することを発見した。 我々はNLMの統計的学習と言語認知を説明する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we use a developmental approach to investigate the statistical learning and mental representation of neural language models (NLM). A series of Generative Transformer models are trained on a synthetic grammar. The model states are saved at multiple stages in the course of training. Through analyzing how the internal representations of these models change in the developmental path, we found that NLMs acquire the most abstract global statistical knowledge at the beginning of learning and later acquire the relatively local statistical dependencies. This learning path contains many over-generalizations from the very beginning and these over-generalizations are gradually constrained in the later stage of learning. Based on this observation, we propose a new framework to explain the statistical learning and language cognition of NLMs.
• Abstract（参考訳）: 本研究では、発達的アプローチを用いて、ニューラルネットワークモデル(NLM)の統計的学習と精神表現について検討する。 生成変換モデルの一連のモデルは、合成文法に基づいて訓練される。 モデル状態は、トレーニングの過程で複数の段階で保存される。 これらのモデルの内部表現が発達過程でどのように変化するかを分析することで、NLMは学習の開始時に最も抽象的なグローバルな統計知識を取得し、その後比較的局所的な統計的依存関係を取得することがわかった。 この学習経路は、初期から多くの過剰な一般化を含んでおり、これらの過度な一般化は、後期の学習において徐々に制限される。 そこで本研究では,NLMの統計的学習と言語認知を説明する新しい枠組みを提案する。

関連論文リスト

• Continual Learning for Generative AI: From LLMs to MLLMs and Beyond [56.29231194002407]
  本稿では,主流生成型AIモデルに対する連続学習手法の総合的な調査を行う。 これらのアプローチをアーキテクチャベース、正規化ベース、リプレイベースという3つのパラダイムに分類する。 我々は、トレーニング目標、ベンチマーク、コアバックボーンを含む、異なる生成モデルに対する連続的な学習設定を分析する。
  論文  参考訳（メタデータ） (2025-06-16T02:27:25Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• To Know by the Company Words Keep and What Else Lies in the Vicinity [0.0]
  本稿では,GloVe や Word2Vec など,セミナルアルゴリズムによって学習された統計データの解析モデルを提案する。 われわれの知る限りでは、Word2Vecのソフトマックス最適化、スキップグラムアルゴリズムの最初の既知のソリューションである。
  論文  参考訳（メタデータ） (2022-04-30T03:47:48Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• The Grammar-Learning Trajectories of Neural Language Models [42.32479280480742]
  ニューラルネットワークモデルは,データ上での終末性能が異なるにもかかわらず,同じ順序で言語現象を取得することを示す。 以上の結果から,NLMは一貫した発達段階を示すことが示唆された。
  論文  参考訳（メタデータ） (2021-09-13T16:17:23Z)
• Language Model Evaluation Beyond Perplexity [47.268323020210175]
  我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。 ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
  論文  参考訳（メタデータ） (2021-05-31T20:13:44Z)
• Analyzing the Source and Target Contributions to Predictions in Neural Machine Translation [97.22768624862111]
  生成プロセスに対するソースとターゲットの相対的コントリビューションを明確に評価するNMTモデルを解析する。 より多くのデータでトレーニングされたモデルは、ソース情報に依存しやすく、よりシャープなトークンコントリビューションを持つ傾向にあります。
  論文  参考訳（メタデータ） (2020-10-21T11:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。