論文の概要: Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality

• arxiv url: http://arxiv.org/abs/2609.34936v1
• Date: Mon, 28 Sep 2026 11:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:33:41.192345
• Title: Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality
• Title（参考訳）: ニューラルネットワークモデルは依存構造の文脈分布を学習する:構成性に対する統計的学習理論
• Abstract要約: ニューラルネットワークモデル(NLM)が、語彙意味論とは無関係な文法構造によって符号化された構造的意味をどうやって取得するかは不明である。 本稿では,学習した依存構造自体がその後の統計学習のための新しい分布単位となる統計学習プロセスを提案する。
• 参考スコア（独自算出の注目度）: 5.320760789039757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is unclear how Neural Language Models (NLMs) acquire the structural meaning encoded by grammatical structures that is independent of lexical semantics. We propose a statistical learning process in which learned dependency structures themselves become new distributional units for subsequent statistical learning. Under this account, once a dependency structure is acquired, the model tracks its contextual distributions. These contextual features reflect the semantic properties of a composite structure. To test this hypothesis, we design a synthetic grammar in which each grammatical structure has distinct contextual distributions that cannot be recovered from the distributional statistics of their component tokens alone. We train a series of BERT-style masked language models on this grammar and examine their developmental trajectory. The results show that models can successfully learn the contextual distributions of composite dependency structures even though they cannot be inferred from token statistics alone. Developmental analysis further reveals a clear developmental trajectory. The learning of the dependency relations that define a grammatical structure consistently precedes the learning of its contextual features. These findings suggest that statistical learning in NLMs is not merely the accumulation of token co-occurrence statistics, but a process in which learned dependency structures become new units of distributional learning. We argue that this process provides a statistical-learning account of how NLMs solve the compositionality problem in language. Finally, we discuss the possibility that this statistical learning process provides an explanatory theory on how language cognition could emerge from pure distributional statistics.
• Abstract（参考訳）: ニューラルネットワークモデル(NLM)が、語彙意味論とは無関係な文法構造によって符号化された構造的意味をどうやって取得するかは不明である。 本稿では,学習した依存構造自体がその後の統計学習のための新しい分布単位となる統計学習プロセスを提案する。 この説明の下では、依存関係構造が取得されると、モデルはコンテキスト分布を追跡する。 これらの文脈的特徴は複合構造の意味的性質を反映している。 この仮説を検証するために、各文法構造がそれぞれの成分トークンの分布統計から復元できない文脈分布を持つ合成文法を設計する。 我々は,この文法に基づいて一連のBERT型マスキング言語モデルを訓練し,その発達軌跡について検討する。 その結果、トークン統計だけでは推測できないにもかかわらず、モデルが複合依存構造の文脈分布をうまく学習できることが示唆された。 発達分析により、さらに明確な発達軌跡が明らかになる。 文法構造を定義する依存関係関係の学習は、その文脈的特徴の学習に一貫して先行する。 これらの結果から,NLMにおける統計学習はトークン共起統計の蓄積に留まらず,学習依存構造が分散学習の新たな単位となる過程であることが示唆された。 このプロセスは、NLMが言語における構成性の問題をどのように解決するかを統計的に学習するものである、と我々は主張する。 最後に、この統計的学習プロセスが、純粋分布統計から言語認知がどのように出現するかを解説する理論を提供する可能性について論じる。

関連論文リスト

• A Data-free Universal Prior over Syntactic Structures [0.0]
  統語的構造よりも普遍的な先行は、漸進的な言語生産の認知的動機付けモデルから現れることを示す。 その結果,構文の確率構造の一部は言語固有の統計的学習とは独立して生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-15T08:45:27Z)
• Readability $\ne$ Learnability: Rethinking the Role of Simplicity in Training Small Language Models [33.13548175654642]
  近年の研究では、非常に小さな言語モデル(SLM)が、TinyStoriesのような子供指向コーパスで訓練されたときに驚くほど一貫性のあるテキストを生成することが示唆されている。 これらの知見は、可読性がそのような能力の実現に重要な役割を果たしている証拠として解釈されている。 一致した構造を持つ合成データセットを構成するが、可読性が異なるため、可読性だけではSLMのコヒーレンスや学習効率を予測できない。
  論文  参考訳（メタデータ） (2025-10-15T08:17:02Z)
• Probability Signature: Bridging Data Semantics and Embedding Structure in Language Models [8.87728727154868]
  トークン間の意味的関係を反映した確率シグネチャのセットを提案する。 Pile corpus のサブセット上で Qwen2.5 アーキテクチャをトレーニングすることで,我々の作業を大規模言語モデル (LLM) に一般化する。
  論文  参考訳（メタデータ） (2025-09-24T13:49:44Z)
• Scaling Laws and Representation Learning in Simple Hierarchical Languages: Transformers vs. Convolutional Architectures [49.19753720526998]
  合成データセット上でのニューラルネットワーク性能に関する理論的スケーリング法則を導出する。 局所性と重み共有によって生成過程の構造が整った畳み込みネットワークは、性能の高速化を享受できることを示す。 この発見は、ニューラルネットワークのスケーリング法則に基づくアーキテクチャ上のバイアスを明らかにし、モデルアーキテクチャとデータの統計的性質の間の相互作用によって表現学習がどのように形成されるかを強調している。
  論文  参考訳（メタデータ） (2025-05-11T17:44:14Z)
• Constructions are Revealed in Word Distributions [13.67250184093456]
  構成文法は、言語の経験を通じて、構成または形式的意味のペアリングが取得される。 この分布には、実際にどの程度の情報が含まれていますか? この分布のプロキシとしてRoBERTaモデルを使用し、統計親和性のパターンとして構造が明らかになるという仮説を立てる。
  論文  参考訳（メタデータ） (2025-03-08T04:22:28Z)
• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• Simple Primitives with Feasibility- and Contextuality-Dependence for Open-World Compositional Zero-shot Learning [86.5258816031722]
  コンポジションゼロショット学習(CZSL)の課題は、トレーニング段階で欠落している新しい状態オブジェクトのイメージを認識することである。 コンポジション埋め込みの学習方法は、クローズドワールドCZSLにおいて有効であることが示されている。 オープンワールドCZSL (OW-CZSL) では, 組成の濃度が大きいため, その性能は著しく低下する傾向にある。
  論文  参考訳（メタデータ） (2022-11-05T12:57:06Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)
• Linguistic dependencies and statistical dependence [76.89273585568084]
  文脈における単語の確率を推定するために,事前学習した言語モデルを用いる。 最大CPMI木は非文脈PMI推定値から抽出した木よりも言語的依存関係によく対応していることがわかった。
  論文  参考訳（メタデータ） (2021-04-18T02:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。