論文の概要: Generalization and Memorization along the Learning Trajectory of Neural Language Models: A Geometric Account of Categorization
- arxiv url: http://arxiv.org/abs/2609.32199v1
- Date: Sat, 26 Sep 2026 03:54:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 18:59:14.509434
- Title: Generalization and Memorization along the Learning Trajectory of Neural Language Models: A Geometric Account of Categorization
- Title（参考訳）: ニューラルネットワークモデルの学習軌跡に沿った一般化と記憶:分類の幾何学的考察
- Abstract要約: ニューラルネットワークモデルの学習軌跡に沿って一般化と記憶がどのように発達するかを考察する。
制御された合成文法を用いて,表現空間の幾何学と学習時のモデル行動について検討する。
観察されたトークンによって占有されない表現空間の連続領域は、学習の初期段階から体系的に構造化される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate how generalization and memorization develop along the learning trajectory of neural language models. Using controlled synthetic grammars, we examine both the geometry of representation space and model behaviour over training. We find that continuous regions of representation space not occupied by observed tokens become systematically structured from the earliest stages of learning, forming category-level geometric organization that supports generalization to unattested combinations. Generalization therefore emerges from the beginning of learning rather than only after extensive memorization. With prolonged training, larger models increasingly distinguish observed from unobserved grammatical combinations. At the same time, the continuous geometric structure supporting category-level generalization is gradually destructed. Together, these results suggest that neural language models initially learn through categorization-based generalization, followed by a gradual transition toward more exemplar-specific memorization.
- Abstract（参考訳）: ニューラルネットワークモデルの学習軌跡に沿って一般化と記憶がどのように発達するかを考察する。
制御された合成文法を用いて,表現空間の幾何学と学習時のモデル行動について検討する。
観測されたトークンによって占有されない表現空間の連続領域は、学習の初期段階から体系的に構造化され、証明されていない組み合わせへの一般化を支援するカテゴリレベルの幾何学的組織を形成する。
したがって、一般化は広範な記憶の後にのみではなく、学習の始まりから現れる。
長期間の訓練により、より大きなモデルは、観測されていない文法の組み合わせとますます区別される。
同時に、カテゴリレベルの一般化をサポートする連続幾何構造が徐々に分解される。
これらの結果は、まず分類に基づく一般化を通じて学習し、その後、より見事な記憶への段階的な遷移が続くことを示唆している。
関連論文リスト
- Word Class Representations Spontaneously Emerge from Successor Representations Trained on Natural Language [0.0]
言語モデルは典型的には、シーケンス内の次のトークンを予測するために訓練される。
ここでは、強化学習の代替的予測原理である継承表現について検討する。
複数の時間的地平線にまたがる将来の単語分布を予測するためにニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2026-05-23T13:55:09Z) - Objective-Free Local Learning and Emergent Language Structure in Thinking Machines [0.0]
本稿では,局所的な事象駆動型創発学習に基づく生成言語モデリングのためのニューロシンボリックフレームワークを提案する。
コアには階層的なホップフィールドメモリチェーンがあり、構成的短期記憶と動的トークン化器として機能する。
我々は、推論中に新しいニューロンを短時間活性化することで、分散マルチスケールトークンの特徴を象徴的な埋め込みに結合することを示した。
論文 参考訳（メタデータ） (2025-06-29T15:29:13Z) - Information Structure in Mappings: An Approach to Learning, Representation, and Generalisation [3.8073142980733]
この論文では、空間間の写像における体系的構造を特定するための定量的手法を紹介している。
マッピングに存在する構造的プリミティブと、それぞれの情報理論を識別します。
また、ベクトル空間のエントロピーを推定する新しい高性能なアプローチを導入し、この分析を100万から1200億のパラメータのモデルに適用する。
論文 参考訳（メタデータ） (2025-05-29T19:27:50Z) - Bigger Isn't Always Memorizing: Early Stopping Overparameterized Diffusion Models [56.032091696552094]
自然データ領域の一般化は、記憶の開始前に訓練中に徐々に達成される。
一般化対メモ化は、時間スケール間の競合として最もよく理解される。
この現象学は,確率論的文脈自由文法をランダムな規則で学習する拡散モデルにおいて復元されることを示す。
論文 参考訳（メタデータ） (2025-05-22T17:40:08Z) - Analysis of Argument Structure Constructions in a Deep Recurrent Language Model [0.0]
本稿では,再帰型ニューラルネットワークモデルにおけるArgument Structure Constructions(ASC)の表現と処理について検討する。
その結果, 文表現は, 全層にまたがる4つのASCに対応する異なるクラスタを形成することがわかった。
これは、脳に拘束された比較的単純なリカレントニューラルネットワークでさえ、様々な構成タイプを効果的に区別できることを示している。
論文 参考訳（メタデータ） (2024-08-06T09:27:41Z) - Compositional Generalization with Grounded Language Models [9.96679221246835]
基底言語モデルは、知識グラフのような外部情報ソースを使用して、事前学習に関連する一般的な課題を満たす。
本研究では,構成性の異なる側面を対象とする知識グラフと組み合わせた自然言語質問を生成する手法を開発した。
論文 参考訳（メタデータ） (2024-06-07T14:56:51Z) - Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers [74.96551626420188]
自然言語データに基づいて訓練されたトランスフォーマーは、その階層構造を学習し、目に見えない構文構造を持つ文に一般化することが示されている。
本研究では,変圧器モデルにおける帰納バイアスの発生源と,そのような一般化行動を引き起こす可能性のあるトレーニングについて検討する。
論文 参考訳（メタデータ） (2024-04-25T07:10:29Z) - Variational Cross-Graph Reasoning and Adaptive Structured Semantics
Learning for Compositional Temporal Grounding [143.5927158318524]
テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。
新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。
ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
論文 参考訳（メタデータ） (2023-01-22T08:02:23Z) - Compositional Generalization Requires Compositional Parsers [69.77216620997305]
直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。
構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
論文 参考訳（メタデータ） (2022-02-24T07:36:35Z) - Learning Algebraic Recombination for Compositional Generalization [71.78771157219428]
合成一般化のための代数的組換え学習のためのエンドツーエンドニューラルモデルLeARを提案する。
主要な洞察は、意味解析タスクを潜在構文代数学と意味代数学の間の準同型としてモデル化することである。
2つの現実的・包括的構成一般化の実験は、我々のモデルの有効性を実証している。
論文 参考訳（メタデータ） (2021-07-14T07:23:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。