論文の概要: Emergent Lexical Semantics in Neural Language Models: Testing Martin's Law on LLM-Generated Text
- arxiv url: http://arxiv.org/abs/2511.21334v1
- Date: Wed, 26 Nov 2025 12:31:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-27 18:37:59.088683
- Title: Emergent Lexical Semantics in Neural Language Models: Testing Martin's Law on LLM-Generated Text
- Title（参考訳）: ニューラルネットワークモデルにおける創発的語彙意味論--マーティンの LLM 生成テキストに関する法則の検証
- Authors: Kai Kugler,
- Abstract要約: マーティンの法則はチェックポイント100を中心に現れ、チェックポイント104でピーク相関(r > 0.6)に達し、チェックポイント105で劣化する。
小型モデル (70M, 160M) は後期チェックポイントで破滅的なセマンティック崩壊を経験し、大型モデル (410M, 1B) は優雅な劣化を示した。
これらの結果から, LLM生成テキストにおける言語規則性の遵守は, 学習によって単調に増加するのではなく, 最適な意味窓を持つバランスの取れた軌跡に従うことが示唆された。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present the first systematic investigation of Martin's Law - the empirical relationship between word frequency and polysemy - in text generated by neural language models during training. Using DBSCAN clustering of contextualized embeddings as an operationalization of word senses, we analyze four Pythia models (70M-1B parameters) across 30 training checkpoints. Our results reveal a non-monotonic developmental trajectory: Martin's Law emerges around checkpoint 100, reaches peak correlation (r > 0.6) at checkpoint 104, then degrades by checkpoint 105. Smaller models (70M, 160M) experience catastrophic semantic collapse at late checkpoints, while larger models (410M, 1B) show graceful degradation. The frequency-specificity trade-off remains stable (r $\approx$ -0.3) across all models. These findings suggest that compliance with linguistic regularities in LLM-generated text is not monotonically increasing with training, but instead follows a balanced trajectory with an optimal semantic window. This work establishes a novel methodology for evaluating emergent linguistic structure in neural language models.
- Abstract（参考訳）: 本稿では、トレーニング中にニューラルネットワークモデルによって生成されたテキストにおいて、マルティンの法則(単語頻度とポリセミーの実証的関係)を初めて体系的に研究する。
文脈的埋め込みのDBSCANクラスタリングを単語感覚の操作化として使用し、30のトレーニングチェックポイントにわたる4つのPythiaモデル(70M-1Bパラメータ)を分析した。
マーティンの法則はチェックポイント100付近に現れ、チェックポイント104でピーク相関(r > 0.6)に達し、チェックポイント105で劣化する。
小型モデル (70M, 160M) は後期チェックポイントで破滅的なセマンティック崩壊を経験し、大型モデル (410M, 1B) は優雅な劣化を示した。
周波数特異性トレードオフは、すべてのモデルで安定である(r $\approx$ -0.3)。
これらの結果から, LLM生成テキストにおける言語規則性の遵守は, 学習によって単調に増加するのではなく, 最適な意味窓を持つバランスの取れた軌跡に従うことが示唆された。
この研究は、ニューラル言語モデルにおける創発的言語構造を評価するための新しい方法論を確立する。
関連論文リスト
- Language Model Behavioral Phases are Consistent Across Architecture, Training Data, and Scale [6.372261626436675]
自己回帰言語モデルでは, 事前学習の過程で, 行動の変化のパターンが極めて一貫したことを示す。
単語レベルでの言語モデル行動のばらつきの最大98%は、3つの単純な確率で説明できることがわかった。
これらの結果は、モデルの詳細に関係なく、ニューラル言語モデルにおける学習は同様の軌道に従う可能性があることを示唆している。
論文 参考訳（メタデータ） (2025-10-28T20:51:01Z) - Leveraging Large Language Models for Predictive Analysis of Human Misery [1.2458057399345226]
本研究では,Large Language Models (LLMs) を用いて,人間に知覚された悲惨なスコアを予測する。
我々は、ゼロショット、固定コンテキスト、検索に基づくプロンプトを含む複数のプロンプト戦略を評価する。
静的評価を超えて,テレビフォーマットに触発された新たなゲーム化フレームワークである"Misery Game Show"を導入する。
論文 参考訳（メタデータ） (2025-08-18T07:02:59Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Large GPT-like Models are Bad Babies: A Closer Look at the Relationship
between Linguistic Competence and Psycholinguistic Measures [25.210837736795565]
我々は、BabyLM事前学習コーパスの厳密なバージョンに基づいて、異なるサイズのGPTライクな言語モデルを訓練する。
これら3つの課題に対して,各課題におけるモデルの幅と深さの相違により,LMサイズと性能の正の相関が認められた。
このことは、モデリング処理の努力と言語能力は、発達可能なコーパス上でのGPTライクなLMのトレーニングとは異なるアプローチを必要とすることを示唆している。
論文 参考訳（メタデータ） (2023-11-08T09:26:27Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z) - A Kernel-Based View of Language Model Fine-Tuning [94.75146965041131]
ニューラル・タンジェント・カーネル(NTK)が事前学習したLMの微調整を記述しているかどうかを検討する。
本稿では,ダウンストリームタスクを暗黙の単語予測問題として定式化することで,微調整中にカーネルベースのダイナミクスをしばしば引き起こすことを示す。
論文 参考訳（メタデータ） (2022-10-11T17:34:32Z) - Shaking Syntactic Trees on the Sesame Street: Multilingual Probing with
Controllable Perturbations [2.041108289731398]
近年の研究では、テキスト摂動の概念を中心とした新しい実験分野が採用されている。
近年の研究では、シャッフル語順がトランスフォーマーベースの言語モデルの下流性能にほとんど影響しないことが明らかになっている。
論文 参考訳（メタデータ） (2021-09-28T20:15:29Z) - Linguistically inspired morphological inflection with a sequence to
sequence model [19.892441884896893]
我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。
我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。
キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
論文 参考訳（メタデータ） (2020-09-04T08:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。