論文の概要: Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models

• arxiv url: http://arxiv.org/abs/2603.13696v1
• Date: Sat, 14 Mar 2026 01:59:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.349241
• Title: Repetition Without Exclusivity: Scale Sensitivity of Referential Mechanisms in Child-Scale Language Models
• Title（参考訳）: 排他性のない反復: 子どもの言語モデルにおける参照メカニズムの尺度感度
• Authors: Jon-Paul Cacioli,
• Abstract要約: 子ども指向音声で訓練された言語モデルにおいて、相互排他性は参照抑制として機能する。 子指向音声における分布学習は、語彙的排他性よりも反復に基づく参照追跡を生成する。 我々は、参照グラウンドディングは、ナチビストではなく、必要な入力構造に関する実証的な主張であるMEにとって必要な要素であるかもしれないと論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the first systematic evaluation of mutual exclusivity (ME) -- the bias to map novel words to novel referents -- in text-only language models trained on child-directed speech. We operationalise ME as referential suppression: when a familiar object is relabelled in a two-referent discourse context, ME predicts decreased probability of the labelled noun at a subsequent completion position. Three pilot findings motivate a pre-registered scale-sensitivity experiment: (1) a masked language model (BabyBERTa) is entirely insensitive to multi-sentence referential context; (2) autoregressive models show robust repetition priming -- the opposite of ME -- when familiar nouns are re-labelled; and (3) a novel context-dependence diagnostic reveals that apparent ME-like patterns with nonce tokens are fully explained by embedding similarity, not referential disambiguation. In the confirmatory experiment, we train 45 GPT-2-architecture models (2.9M, 8.9M, and 33.5M parameters; 5, 10, and 20 epochs on AO-CHILDES; 5 seeds each) and evaluate on a pre-registered ME battery. Anti-ME repetition priming is significant in all 9 cells (85-100% of items; all p < 2.4 x 10^-13). Priming attenuates with improved language modelling (Spearman rho = -0.533, p = 0.0002) but never crosses zero across a 3.8x perplexity range. The context-dependence diagnostic replicates in all 9 cells, and dose-response priming increases with repetitions in 8/9 cells (all trend p < 0.002). These findings indicate that distributional learning on child-directed speech produces repetition-based reference tracking rather than lexical exclusivity. We connect this to the grounded cognition literature and argue that referential grounding may be a necessary ingredient for ME -- an empirical claim about required input structure, not a nativist one.
• Abstract（参考訳）: 本研究は,子指向音声で学習したテキストのみの言語モデルにおいて,新しい単語を新しい参照語にマッピングするバイアスである相互排他性(ME)を初めて体系的に評価するものである。 我々は、MEを参照抑制として運用する:2つの参照された談話文脈で親しみのあるオブジェクトが再ラップされると、MEは後続の完了位置でラベル付き名詞の確率の低下を予測する。 1) マスク付き言語モデル(BabyBERTa)は多文参照文脈に完全に依存せず,(2) 自己回帰モデルでは,親しみのある名詞が再層化されるとき, 頑健な反復プライミング(MEとは逆)を示す。 確認実験では,45 GPT-2-architecture model (2.9M, 8.9M, 33.5M parameters, 5, 10, 20 epochs on AO-ChiLDES; 5 seed each) を訓練し,予備登録ME電池で評価した。 抗ME反復プライミングは、全ての9細胞(85-100%の項目、すべてのp < 2.4 x 10^-13)において重要である。 プライミングは言語モデリングの改善(Spearman rho = -0.533, p = 0.0002)で減衰するが、0を3.8倍の難易度範囲で横断することはない。 文脈依存性の診断は、すべての9細胞で複製され、8/9細胞(全て傾向p < 0.002)で繰り返し、線量応答プライミングが増加する。 これらの結果から, 子指向音声における分布学習は, 語彙的排他性よりも反復に基づく参照追跡を生み出すことが示唆された。 我々はこれを根拠とした認知文学に結び付け、参照接地はMEにとって必要な要素であり、ナチビストではなく、必要な入力構造に関する実証的な主張であると主張している。

関連論文リスト

• A Geometric Taxonomy of Hallucinations in LLMs [0.2538209532048866]
  大きな言語モデルにおける「幻覚」という用語は、埋め込み空間における異なる幾何学的シグネチャと異なる現象を混同している。 本稿では,不信感,信頼感,事実的誤りの3つのタイプを識別する分類法を提案する。 この貢献は、埋め込みに基づく検出の範囲を明確にした幾何学的分類法である。
  論文  参考訳（メタデータ） (2026-01-26T22:07:09Z)
• Generalization Gaps in Political Fake News Detection: An Empirical Study on the LIAR Dataset [0.764671395172401]
  LIARベンチマークを用いて,9つの機械学習アルゴリズムの診断評価を行った。 モデルの重み付きF1スコアを超えないきめ細かい分類の「パフォーマンスシーリング」を発見した。 木に基づくアンサンブルの大規模な"一般化ギャップ"は、99%以上のトレーニング精度を達成したが、テストデータで約25%に崩壊した。
  論文  参考訳（メタデータ） (2025-12-20T23:08:18Z)
• The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
  外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。 3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。 我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
  論文  参考訳（メタデータ） (2025-10-23T07:53:26Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Causal Micro-Narratives [62.47217054314046]
  テキストから因果マイクロナラティブを分類する新しい手法を提案する。 これらの物語は、対象対象の因果関係と/または効果の文レベルの説明である。
  論文  参考訳（メタデータ） (2024-10-07T17:55:10Z)
• Visually Grounded Speech Models have a Mutual Exclusivity Bias [20.495178526318185]
  子どもが新しい単語を学ぶ際には、相互排他性(ME)バイアスのような制約を用いる。 このバイアスは計算学的に研究されてきたが、個々の単語表現を入力として使用するモデルでのみ研究されている。 自然画像と連続音声から学習する視覚的接地音声モデルの文脈におけるMEバイアスについて検討する。
  論文  参考訳（メタデータ） (2024-03-20T18:49:59Z)
• Navigating the Grey Area: How Expressions of Uncertainty and Overconfidence Affect Language Models [74.07684768317705]
  LMはプロンプトにおける確実性のマーカーに非常に敏感であり、アクーは80%以上変化している。 その結果,高い確実性の表現は低い表現に比べて精度が低下し,事実動詞が性能を損なうのに対して,明らかな表現はパフォーマンスに寄与することがわかった。 これらの関連性は、LMが真に不確実性を反映するのではなく、観察された言語の使用に基づいていることを示唆している。
  論文  参考訳（メタデータ） (2023-02-26T23:46:29Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• Visually Grounded Compound PCFGs [65.04669567781634]
  言語理解のための視覚的基盤の爆発は、最近多くの注目を集めている。 本研究では,視覚的な文法誘導について検討し,未ラベルテキストとその視覚的キャプションから選挙区を学習する。
  論文  参考訳（メタデータ） (2020-09-25T19:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。