論文の概要: Pretraining Data Statistics Shape the Phases of Learning Entity Comparison in Language Models
- arxiv url: http://arxiv.org/abs/2611.16882v1
- Date: Thu, 12 Nov 2026 14:45:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.489648
- Title: Pretraining Data Statistics Shape the Phases of Learning Entity Comparison in Language Models
- Title(参考訳): 事前データ統計は言語モデルにおける学習エンティティ比較の位相を形作る
- Abstract要約: 本研究では,事前学習におけるデータ形状言語モデル(LM)の振る舞いについて検討する。
我々は、事前学習コーパスと合成タスクデータから、自然テキストの混合物に小さなLMを訓練する。
本分析では,(1) LMがエンティティを周波数で選択する初期段階,(2) LMがプロンプトの位置で選択する中段階,(3) LMが正しい回答であるエンティティを選択する後期段階の3つの学習段階を同定する。
- 参考スコア(独自算出の注目度): 18.752112679488416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How does data shape language model (LM) behavior throughout pretraining? We investigate this question through a case study on entity comparison, e.g., Between France and Brazil, which country is larger?, across nine comparison tasks spanning five entity types. We begin with controlled experiments in which we train small LMs (163M parameters) on mixtures of natural text from pretraining corpora and synthetic task data. Our analysis identifies three distinct phases of learning: (1) an early phase where the LM selects entities by frequency, (2) a middle phase where the LM selects entities by position in the prompt (first vs. last mentioned entity), and (3) a late phase where the LM selects the entity that is the correct answer. We show that the emergence of these three phases is causally determined by statistical properties of the training data. With small amounts of task-specific synthetic data, we observe only the first two phases and the model fails to learn the task; with large amounts, the model jumps directly from the frequency-based heuristic to solving the task correctly. Moreover, changing the entity frequency distribution from a naturally occurring Zipfian distribution (a small number of entities are very common and the vast majority are rare) to a uniform one weakens the frequency phase and speeds up learning of the task. Lastly, we show that the three phases of training dynamics from our controlled experiments appear in the open source model OLMo-2 32B. Together, our findings demonstrate that properties of pretraining data are causal drivers of heuristic learning and show that small-scale synthetic experiments can predict training dynamics at larger scales.
- Abstract(参考訳): データ形状言語モデル(LM)は事前学習を通してどのように振る舞うのか?
本稿では,フランスとブラジルの実体比較を事例として,どちらの国が大きいのかを考察する。
5つのエンティティタイプにまたがる9つの比較タスク。
まず,予備学習コーパスと合成タスクデータから,自然文の混合に対して小さなLM(163Mパラメータ)を訓練することから始める。
分析では,(1) LMが周波数でエンティティを選択する初期段階,(2) LMがプロンプトの位置でエンティティを選択する中段階,(3) LMが正しい答えであるエンティティを選択する後期段階の3つの異なる学習段階を同定した。
これらの3つの位相の出現は、トレーニングデータの統計的特性によって因果的に決定されることを示す。
少数のタスク固有合成データを用いて、最初の2つのフェーズのみを観察し、モデルがタスクの学習に失敗し、膨大な数のモデルが周波数ベースのヒューリスティックからタスクを正しく解くために直接ジャンプする。
さらに、自然発生のZipfian分布(少数のエンティティは非常に一般的であり、大多数はまれである)から一様に変化するエンティティ周波数分布は、周波数位相を弱め、タスクの学習を高速化する。
最後に,オープンソースモデルOLMo-2 32Bに制御実験から得られた3段階のトレーニングダイナミクスが現れることを示す。
以上の結果から,事前学習データの性質がヒューリスティック学習の因果的要因であることを示すとともに,小規模合成実験が大規模でのトレーニングダイナミクスを予測できることが示唆された。
関連論文リスト
- On Linear Representations and Pretraining Data Frequency in Language Models [54.756179696806356]
本研究では,事前学習データ周波数と実関係の線形表現との関係について検討する。
線形表現の形成が事前学習項周波数と強く結びついていることを示す。
LMにおける線形表現の強さは、モデルの事前学習コーパスに関する信号を含むと結論付けている。
論文 参考訳(メタデータ) (2025-04-16T19:50:03Z) - Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs [34.062839703584444]
非対称性が論理的に等価な事実の認識に存在し、それは対象と対象とに出現する実体の周波数の相違に起因する。
実験の結果,高頻度の被写体と低周波の被写体は,その論理的等価性にもかかわらず,逆の被写体よりもよく認識されていることが明らかとなった。
これらの知見は, 模擬モデル予測における事前学習データの影響を浮き彫りにした。
論文 参考訳(メタデータ) (2025-03-28T12:12:38Z) - Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in
Transformer Models [9.340409961107955]
トランスフォーマーモデルには、コンテキスト内学習(ICL)を実行する驚くべき能力がある
本研究は, トランスフォーマーが事前学習データ混合物間の橋渡しを効果的に行う方法について検討する。
以上の結果から,高容量シーケンスモデルの印象的なICL能力は,インダクティブバイアスよりも事前学習データ混合のカバレッジに密接に関係している可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-01T21:41:08Z) - Understanding and Mitigating the Label Noise in Pre-training on
Downstream Tasks [91.15120211190519]
本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。
雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2023-09-29T06:18:15Z) - CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。
学習方法は,「フリーランチ」仮説の主張を考察する。
データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文 参考訳(メタデータ) (2023-05-03T17:55:25Z) - On the Transferability of Pre-trained Language Models: A Study from
Artificial Datasets [74.11825654535895]
大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。
我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
論文 参考訳(メタデータ) (2021-09-08T10:39:57Z) - Fine-Tuning Pretrained Language Models: Weight Initializations, Data
Orders, and Early Stopping [62.78338049381917]
教師付き下流タスクのための微調整済み文脈単語埋め込みモデルは、自然言語処理において一般的なものとなっている。
GLUEベンチマークから得られた4つのデータセットを実験し、無作為な種だけを変えながら、それぞれに数百回微調整されたBERTを実験した。
これまでに報告した結果と比較すると,性能が大幅に向上し,微調整試行回数の関数としてベストファウンドモデルの性能がどう変化するかが定量化される。
論文 参考訳(メタデータ) (2020-02-15T02:40:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。