論文の概要: Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

• arxiv url: http://arxiv.org/abs/2605.09239v1
• Date: Sun, 10 May 2026 00:45:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.137595
• Title: Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs
• Title（参考訳）: 繰り返し数えると、表現と出力の解離が明らかになる
• Authors: Sohan Venkatesh,
• Abstract要約: より大きな言語モデルは、より広範な推論ベンチマークのパフォーマンスにもかかわらず、繰り返しトークンを数えることに失敗する。 残差ストリーム上の線形プローブは、埋め込み後の各層において、正しいカウントをほぼ完全精度で復号する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models fail at counting repeated tokens despite strong performance on broader reasoning benchmarks. These failures are commonly attributed to limitations in internal count tracking. We show this attribution is wrong. Linear probes on the residual stream decode the correct count with near-perfect accuracy at every post-embedding layer, across all model depths. This holds even at the exact layers where the wrong answer crystallizes while the model simultaneously outputs an incorrect count. Attention patterns show no evidence of collapse over repeated tokens and tokenization artifacts account for none of the failure. Instead, a format-triggered multi-layer perceptron (MLP) block overwrites the correctly-encoded count with a fixed wrong answer at roughly 88--93,% network depth. This prior fires for repeated word-tokens in space-separated list format and is absent for repeated digit-tokens. It is suppressed by comma-separated delimiters in larger models but persists in smaller ones. The finding holds across Llama-3.2 (1B and 3B) and Qwen2.5 (1.5B, 3B and 7B) at consistent relative depth. Counting failure is a failure of routing not of representation and the two require different interventions.
• Abstract（参考訳）: より大きな言語モデルは、より広範な推論ベンチマークのパフォーマンスにもかかわらず、繰り返しトークンを数えることに失敗する。 これらの障害は、内部カウントトラッキングの制限に起因することが多い。 私たちはこの属性が間違っていることを示します。 残留ストリーム上の線形プローブは、すべてのモデル深さにわたって、埋め込み後の各層において、正しいカウントをほぼ完全な精度で復号する。 これは、間違った答えが結晶化する正確な層でさえ保持し、モデルが同時に間違ったカウントを出力する。 注意パターンは、繰り返しトークンに対する崩壊の証拠を示しておらず、トークン化アーティファクトは、失敗の何もありません。 代わりに、フォーマットトリガーされた多層パーセプトロン(MLP)ブロックは、正しいエンコードされたカウントを、約88--93,%のネットワーク深さで間違った解で上書きする。 これは、空間区切りされたリスト形式で繰り返し単語トークンに対して発火し、繰り返し桁トークンに対しては欠落する。 より大型のモデルではコマ分離デリミッターによって抑制されるが、小さいモデルでは持続する。 この発見は、Llama-3.2 (1B, 3B) と Qwen2.5 (1.5B, 3B, 7B) を一貫した相対深さで横断する。 障害のカウントは表現できないルーティングの失敗であり、2つは異なる介入を必要とする。

関連論文リスト

• Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts [51.84894623128418]
  現代の推論言語モデルは、すべてのトークンが寄与し、ステップを順番に消費しなければならないと暗黙的に仮定して、シーケンシャルな連鎖トレースを生成する。 我々は、モデル生成推論連鎖に適用した、系統的な介入パイプライン、除去、マスキング、シャッフル、ノイズ注入により、両方の仮定に挑戦する。 解答抽出は, スパース, 秩序不感, 構造的に堅牢な情報基板上で行う。
  論文  参考訳（メタデータ） (2026-05-08T06:15:50Z)
• The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
  大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。 この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。 線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
  論文  参考訳（メタデータ） (2026-05-05T01:13:06Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Attention Deficits in Language Models: Causal Explanations for Procedural Hallucinations [0.0]
  正しい値がコンテキストに存在する場合でも、検証可能な、即席の仕様を実行することの失敗について検討する。 具体的には、失敗はStage2A(ゲート)エラーに分解され、モデルが応答モードに入らなかったり、Stage2B(バインディング)エラーに分解される。
  論文  参考訳（メタデータ） (2026-02-22T15:43:41Z)
• Post-Routing Arithmetic in Llama-3: Last-Token Result Writing and Rotation-Structured Digit Directions [0.4086920237000588]
  我々は,クロストケンルーティングが因果関係のないものになると,算術的な解がどう完結するかを考察する。 その結果, 残留パッチや累積アテンションが層17付近の鋭い境界に局在していることが判明した。 この状態において、桁(-sum)方向の辞書は次の高階の文脈と異なるが、共有低階部分空間内の概写像によりよく関連している。
  論文  参考訳（メタデータ） (2026-02-22T09:49:36Z)
• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。