論文の概要: A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
- arxiv url: http://arxiv.org/abs/2606.00230v1
- Date: Fri, 29 May 2026 18:04:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.167917
- Title: A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
- Title（参考訳）: 言語モデルにおけるグロキングの事前学習アナローグ:文法的一般化の遅れの追跡
- Abstract要約: ニューラルネットワークがトレーニングデータに適合してから長期にわたって一般化する現象であるGrokkingは、多くのエポック上で教師付き設定で研究されている。
LLMプレトレーニング中にグラッキングのようなダイナミクスを研究できる露光ベースのフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.118638230247951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Grokking, the phenomenon in which neural networks generalize long after fitting their training data, has been studied in supervised settings on many epochs. LLM pre-training instead involves next-token prediction over an unlabeled corpus, with limited data repetition and no explicit train/validation split. To address this, we propose an exposure-based framework that enables the study of grokking-like dynamics during LLM pre-training. We ground our evaluation in BLiMP minimal pairs, which provide controlled grammatical contrasts. For every BLiMP minimal pair, we identify a critical phrase, the smallest continuous span that captures the grammatical contrast and the phenomenon-relevant context. Examples whose critical phrase appears in the pre-training window are assigned to the proxy-train split; the remaining examples are assigned to the proxy-validation split. Across five grammatical phenomena, we observe delayed generalization. Analyzing pre-training checkpoints before and after generalization shows that grammatical concept vectors become more predictive of grammatical acceptability and occupy a higher-dimensional subspace after generalization. We also find that attention from the critical token to the relevant context token is concentrated in a small number of heads.
- Abstract（参考訳）: ニューラルネットワークがトレーニングデータに適合してから長期にわたって一般化する現象であるGrokkingは、多くのエポック上で教師付き設定で研究されている。
LLM事前トレーニングでは、ラベルのないコーパスを次々に予測し、データ繰り返しに制限があり、明示的な列車/バリデーションの分割は行わない。
そこで本研究では,LLM事前学習中にグラクキングのようなダイナミクスを研究できる露光ベースのフレームワークを提案する。
我々はBLiMP最小ペアで評価を行い、制御された文法的コントラストを提供する。
各BLiMP最小ペアに対して、文法的コントラストと現象関連文脈をキャプチャする最小の連続スパンである臨界句を識別する。
事前トレーニングウィンドウに重要なフレーズが現れる例はプロキシ-トレイン分割に割り当てられ、残りの例はプロキシ-バリデーション分割に割り当てられる。
5つの文法現象にまたがって、遅れた一般化を観察する。
一般化前後の事前学習チェックポイントの解析は、文法的概念ベクトルが文法的受容性のより予測的になり、一般化後の高次元部分空間を占有することを示している。
また、重要なトークンから関連するコンテキストトークンへの注意が少数のヘッドに集中していることもわかりました。
関連論文リスト
- BID: Boundary-Interior Decoding for Unsupervised Temporal Action
Localization Pre-Trainin [13.273908640951252]
本稿では,骨格に基づく動作シーケンスを意味論的に意味のある事前動作セグメントに分割する,教師なし事前学習フレームワークを提案する。
事前学習ネットワークを少量のアノテートデータで微調整することにより、SOTA法よりも大きなマージンで性能が向上することを示す。
論文 参考訳（メタデータ） (2024-03-12T06:23:45Z) - Enhancing Supervised Learning with Contrastive Markings in Neural
Machine Translation Training [10.498938255717066]
ニューラルネットワーク翻訳(NMT)における指導的学習は、典型的には教師の強制パラダイムに従う。
コントラッシブマーキング目的による標準最大推定の簡易拡張を提案する。
コントラストマーキングによるトレーニングは教師付き学習の上に改善をもたらすことを示す。
論文 参考訳（メタデータ） (2023-07-17T11:56:32Z) - Assessing Phrase Break of ESL speech with Pre-trained Language Models [6.635783609515407]
本研究は,事前学習言語モデル(PLM)を用いたESL学習者の発話におけるフレーズブレークの評価手法を提案する。
従来の手法とは異なり、この提案では音声をトークンシーケンスに変換し、PLMのパワーを活用する。
論文 参考訳（メタデータ） (2022-10-28T10:06:06Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳（メタデータ） (2022-10-16T07:47:46Z) - On the Viability of Monocular Depth Pre-training for Semantic Segmentation [48.29060171161375]
本研究は,意味的タスクへの下流移動において,幾何学的タスクの事前学習が有効かどうかを考察する。
単分子深度は意味的セグメンテーションのための事前学習の実行可能な形式であり、共通ベースラインの改善によって検証される。
論文 参考訳（メタデータ） (2022-03-26T04:27:28Z) - An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
In-context Learning の出現における事前学習分布の役割について検討した。
本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。
我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
論文 参考訳（メタデータ） (2021-11-03T09:12:33Z) - The Inductive Bias of In-Context Learning: Rethinking Pretraining
Example Design [34.900425311720795]
事前学習したNLMは、同じトレーニング例に現れるテキストセグメント間の依存関係を、異なるトレーニング例に現れるテキストセグメント間の依存性よりも強くモデル化できることを示す。
我々は「kNN-Pretraining」を提案する:同じ事前学習例に意味論的に関連のない非隣接文を含めると、文表現の改善とオープンドメイン質問応答能力が得られることを示す。
論文 参考訳（メタデータ） (2021-10-09T11:05:16Z) - Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。
簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。
当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
論文 参考訳（メタデータ） (2021-03-20T03:57:59Z) - COCO-LM: Correcting and Contrasting Text Sequences for Language Model
Pretraining [59.169836983883656]
COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。
COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。
分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
論文 参考訳（メタデータ） (2021-02-16T22:24:29Z) - Narrative Incoherence Detection [76.43894977558811]
本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。
複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
論文 参考訳（メタデータ） (2020-12-21T07:18:08Z) - Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。
私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。
これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
論文 参考訳（メタデータ） (2020-05-18T06:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。