論文の概要: Separators Make Carry Propagation Learnable:The Geometry of Latent Carry in a Multiplication Transformer
- arxiv url: http://arxiv.org/abs/2610.06605v1
- Date: Mon, 05 Oct 2026 16:14:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 00:16:48.516315
- Title: Separators Make Carry Propagation Learnable:The Geometry of Latent Carry in a Multiplication Transformer
- Title（参考訳）: セパレータによるキャリー伝搬の学習:乗算変換器における遅延キャリーの幾何学
- Abstract要約: 我々は4x4乗算でスクラッチから小さなラマ型変圧器を学習する。
桁間にスペーストークンを挿入すると、正確なマッチング精度が1%から89%に向上することがわかった。
- 参考スコア（独自算出の注目度）: 3.377298662011438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers asked to multiply multi-digit numbers in a single forward pass often fail, and interpretability studies of pretrained language models find arithmetic solved by input-range heuristics rather than by an explicit carry. We train small Llama-style transformers from scratch on 4x4 multiplication without chain of thought and find that the input format is decisive: inserting a space token between digits raises exact-match accuracy from 1% to 89%. Output positions are learned in carry-chain order, with the middle digits, which have the longest-range dependencies, learned last. Inside the model, the separator token that predicts each digit (its prediction slot) encodes the carry-in as an angle on a ring in the residual stream; examples with more distinct carry values fill more of the ring. Activation patching between examples matched on the column sum shows that this state is causally used before the last layer: patching the prediction slot alone transfers the source carry in up to 84% of cases after block 4 for one middle column of our best model, while for other columns the carry is first assembled at the neighboring answer slot before reaching its own. Remaining errors are almost always off by one, consistent with a small error on the carry or on the circular digit code.
- Abstract（参考訳）: トランスフォーマーは、複数桁の数を1つの前方通過で乗算することを要求したが、しばしば失敗し、事前訓練された言語モデルの解釈可能性の研究は、明示的なキャリーではなく、入力範囲のヒューリスティックスによって解決された算術を見つける。
我々は,4x4乗算でスクラッチからLlama型変換器を訓練し,入力形式が決定的であることを発見した。
出力位置はキャリーチェーン順序で学習され、最後に学んだのは、最も長い範囲依存を持つ中間桁である。
モデル内の各桁(その予測スロット)を予測するセパレータトークンは、残留ストリーム内のリング上の角度としてキャベインを符号化する。
予測スロットだけでソースを転送すると、ベストモデルの1つのミドルカラムに対してブロック4の後に最大84%のケースが実行されます。
残されるエラーは、ほとんど常に1つずつオフにされ、キャリーまたは円形の桁符号上の小さなエラーと一致している。
関連論文リスト
- Distilling Sequential Computation in Transformer Language Models [27.155933358949213]
Transformer言語モデルでは、トークン単位のシーケンスを自動回帰的に処理する。
入力トークンのスパンを崩壊表現に置き換えることで逐次計算を蒸留する手法を提案する。
論文 参考訳（メタデータ） (2026-09-23T02:02:57Z) - Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。
継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
論文 参考訳（メタデータ） (2026-07-09T07:37:59Z) - Grokking Is Conditional and Fragile: A Fully-Tractable, Multi-Seed Study at 12K Parameters [0.0]
グルーキングは単一の結果ではなく、マルチシードレートとして研究する。
この完全に牽引可能な状態グルーキングは条件付き、脆弱な相転移である。
論文 参考訳（メタデータ） (2026-07-06T13:58:31Z) - DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning [91.94042219655866]
大規模言語モデルは、Chain-of-Thought(CoT)として中間ステップの外部化を可能にすると、多くの推論タスクにおいて強力なパフォーマンスを達成する
我々は,この課題を,モデルが1つの前方パス内で複数の知識を構成しなければならない代表的タスクである2-ホップ推論を通じて研究する。
本稿では,個別の埋め込みチャネルと連続的な隠れ状態チャネルの両方を連続的に持つループアーキテクチャであるDiscoLoopを提案する。
論文 参考訳（メタデータ） (2026-07-01T02:32:02Z) - The Right Answer, the Wrong Direction: Why Transformers Fail at Counting and How to Fix It [0.0]
大規模言語モデルは、たとえカウントすべきアイテムがプロンプトに明示的に存在しているとしても、単純なカウントタスクで失敗することが多い。
この失敗は、変換器が内部的にカウントを表現しないためなのか、あるいはそれらの表現を正しい出力トークンに変換することができないためなのかを考察する。
線形プローブは、中間層からほぼ完全な精度で正しいカウントを復元する。
論文 参考訳（メタデータ） (2026-05-05T01:13:06Z) - Multiplication in Multimodal LLMs: Computation with Text, Image, and Audio Inputs [0.8129517423858409]
マルチモーダル LLM は、モダリティをまたいだ数値内容を正確に知覚できるが、正確なマルチ桁乗算はできない。
本稿では,桁長,桁幅,表現を因子的に変化させるマルチモーダル乗法ベンチマークを提案する。
また、算術負荷 C を総桁数と非ゼロ桁数の積として定義する。
論文 参考訳（メタデータ） (2026-04-20T12:52:07Z) - Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls [54.57326125204404]
言語モデルはますます能力が高くなっているが、多桁乗算という一見単純なタスクではまだ失敗している。
直観的連鎖を通して乗法をうまく学習するモデルをリバースエンジニアリングすることでなぜ研究する。
論文 参考訳（メタデータ） (2025-09-30T19:03:26Z) - Positional Description Matters for Transformers Arithmetic [58.4739272381373]
トランスフォーマーは、大きな能力にもかかわらず、算術的なタスクに干渉することが多い。
位置エンコーディングを直接修正するか、あるいは算術タスクの表現を変更して、標準的な位置エンコーディングを異なる方法で活用することで、問題を解決する方法をいくつか提案する。
論文 参考訳（メタデータ） (2023-11-22T00:31:01Z) - Latent Positional Information is in the Self-Attention Variance of
Transformer Language Models Without Positional Embeddings [68.61185138897312]
凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。
本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
論文 参考訳（メタデータ） (2023-05-23T01:03:40Z) - Delta Keyword Transformer: Bringing Transformers to the Edge through
Dynamically Pruned Multi-Head Self-Attention [4.925939498983408]
マルチヘッド自己アテンションはトランスフォーマーネットワークのコアを形成する。
本稿では,トークン間のデータの時間的安定性を利用して推論コストを削減する動的プルーニング手法を提案する。
実験の結果,元の98.4%の精度を維持しながら80%の操作を削減できることがわかった。
論文 参考訳（メタデータ） (2022-03-20T20:59:13Z) - FSR: Accelerating the Inference Process of Transducer-Based Models by
Applying Fast-Skip Regularization [72.9385528828306]
典型的なトランスデューサモデルは、現在の音響状態に条件付き出力シーケンスをデコードします。
予測結果に含まれる空白のトークンの数は、すべてのトークンの90%近くを占める。
本稿では,トランスデューサが予測する空白位置とCTCモデルが予測する空白位置を一致させようとする高速スキップ正規化法を提案する。
論文 参考訳（メタデータ） (2021-04-07T03:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。