論文の概要: Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans

• arxiv url: http://arxiv.org/abs/2608.14681v1
• Date: Wed, 05 Aug 2026 00:52:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.960956
• Title: Automatic or Controlled? Repetition Priming Reveals Divergent Processing in Base LLMs, Instruct LLMs, and Humans
• Title（参考訳）: 自動制御? 繰り返しプライミングは, ベースLLM, インストラクションLLM, 人における分岐処理を探索する
• Abstract要約: 5つのモデルファミリーにわたる15のモデルに反復プライミングを適用する。 ベースモデルが自動処理を示し,インストラクションモデルが制御処理を示すことがわかった。 人間はハイブリッドなプロファイルを示し、ラグ感受性のファシリテーションはインストラクションモデルに似ているが干渉はしない。
• 参考スコア（独自算出の注目度）: 1.2109382221827507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Words recur constantly in natural language use, yet it remains unclear whether language models reactivate prior representations or re-evaluate repeated words afresh, and whether post-training changes this default behavior. We apply repetition priming (Shiffrin and Schneider, 1977) to 15 models across five model families (1.5B-14B parameters) in two tasks, semantic categorization and cloze completion, with matched human experiments using identical stimuli. We find that base models exhibit automatic processing: they show immediate facilitation that remains stable across lags, partially survives context removal, and correlates with attention to prior occurrences. Instruct models exhibit controlled processing: their facilitation decays with lag, collapses without expected context, and reverses to interference at larger scales. Within the Qwen 2.5 family, this dissociation increases monotonically with model scale, suggesting that post-training progressively alters repetition processing. Humans show a hybrid profile, with lag-sensitive facilitation resembling instruct models but without interference, suggesting that neither model type fully captures human cognition. Our findings reveal a qualitative shift in how language models process repeated information after post-training and provide mechanistic evidence for the divergence between model behaviors.
• Abstract（参考訳）: 自然言語の使用において単語は常に再帰するが、言語モデルが事前表現を再活性化するか、繰り返し単語を再評価するか、トレーニング後のデフォルト動作が変更されるかどうかは不明だ。 繰り返しプライミング(Siffrin and Schneider, 1977)を5つのモデルファミリー(1.5B-14Bパラメータ)に2つのタスク、意味分類とクローゼ完了の15モデルに適用する。 ベースモデルには自動処理が備わっており、ラグ全体にわたって安定な即時的ファシリテーションを示し、部分的にコンテキスト除去を継続し、事前発生に注意を払って相関する。 インストラクションモデルは制御された処理を示し、そのファシリテーションはラグとともに崩壊し、期待しない文脈で崩壊し、より大きなスケールでの干渉に逆転する。 Qwen 2.5ファミリーでは、この解離はモデルスケールと単調に増加し、ポストトレーニングが反復処理を徐々に変えることが示唆される。 人間は、ラグに敏感なファシリテーションがインストラクションモデルに似ているが干渉がないハイブリッドプロファイルを示し、どちらのモデルタイプも人間の認知を完全に捉えていないことを示唆している。 実験の結果,言語モデルが学習後の繰り返し情報を処理する方法の質的変化が明らかとなり,モデル行動の相違を示す機械的証拠が得られた。

関連論文リスト

• The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data [4.774098410526357]
  人工的に生成されたデータに基づいて訓練された生成モデルは、モデル崩壊を示すことが示されている。 合成コンテンツがトレーニングコーパスを汚染する傾向が増すにつれて、オープンデータの使用に関する重要な懸念が高まる。
  論文  参考訳（メタデータ） (2026-08-04T22:56:39Z)
• How Focused Are LLMs? A Quantitative Study via Repetitive Deterministic Prediction Tasks [0.9338697277815541]
  繰り返し決定論的予測タスクにおける大規模言語モデルの性能について検討する。 実験により, 特徴的な長さスケールを超える急激な2重指数降下が明らかとなった。 これは、モデルがそれぞれの操作を独立して実行できないことを示している。
  論文  参考訳（メタデータ） (2025-11-02T01:42:08Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• From Loops to Oops: Fallback Behaviors of Language Models Under Uncertainty [67.81977289444677]
  大型言語モデル(LLM)は幻覚やシーケンスの繰り返しのような望ましくない振る舞いを示すことが多い。 転倒行動(シークエンス反復、退化テキスト、幻覚)を分類し、それらを広範囲に分析する。 我々の実験では、これらのすべての軸にまたがる、明確な、一貫したフォールバック動作の順序が明らかになりました。
  論文  参考訳（メタデータ） (2024-07-08T16:13:42Z)
• Mitigating Reversal Curse in Large Language Models via Semantic-aware Permutation Training [57.771940716189114]
  我々は、大きな言語モデル(LLM)が「逆の呪い」に苦しむことを示す。 逆の呪いの根本原因は、訓練と推論の段階で異なる単語順にある。 この問題に対処するために,SPT(Semantic-Aware Permutation Training)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T18:55:20Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• A Targeted Assessment of Incremental Processing in Neural LanguageModels and Humans [2.7624021966289605]
  本稿では,人間とニューラル言語モデルにおけるインクリメンタル処理のスケールアップ比較について述べる。 データはInterpolated Maze Taskと呼ばれる新しいオンライン実験パラダイムに由来する。 人間と言語モデルの両方が、非文法的な文領域における処理困難を増大させていることが判明した。
  論文  参考訳（メタデータ） (2021-06-06T20:04:39Z)
• Generative Text Modeling through Short Run Inference [47.73892773331617]
  本研究は、推論のためのショートランダイナミックスを提案し、潜伏変数の以前の分布から変化し、後続分布によって導かれる少数のランゲヴィンダイナミックスステップを実行する。 短絡力学で訓練されたモデルは、強い言語モデルやVAEベースラインと比較して、より正確にデータをモデル化し、後方崩壊の兆候は示さない。
  論文  参考訳（メタデータ） (2021-05-27T09:14:35Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。