論文の概要: Post-Routing Arithmetic in Llama-3: Last-Token Result Writing and Rotation-Structured Digit Directions

• arxiv url: http://arxiv.org/abs/2602.19109v1
• Date: Sun, 22 Feb 2026 09:49:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.483562
• Title: Post-Routing Arithmetic in Llama-3: Last-Token Result Writing and Rotation-Structured Digit Directions
• Title（参考訳）: Llama-3における追従後の算術:最後の学習結果記述と回転構造ジジット方向
• Authors: Yao Yan,
• Abstract要約: 我々は,クロストケンルーティングが因果関係のないものになると,算術的な解がどう完結するかを考察する。 その結果, 残留パッチや累積アテンションが層17付近の鋭い境界に局在していることが判明した。 この状態において、桁(-sum)方向の辞書は次の高階の文脈と異なるが、共有低階部分空間内の概写像によりよく関連している。
• 参考スコア（独自算出の注目度）: 0.4086920237000588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study three-digit addition in Meta-Llama-3-8B (base) under a one-token readout to characterize how arithmetic answers are finalized after cross-token routing becomes causally irrelevant. Causal residual patching and cumulative attention ablations localize a sharp boundary near layer~17: beyond it, the decoded sum is controlled almost entirely by the last input token and late-layer self-attention is largely dispensable. In this post-routing regime, digit(-sum) direction dictionaries vary with a next-higher-digit context but are well-related by an approximately orthogonal map inside a shared low-rank subspace (low-rank Procrustes alignment). Causal digit editing matches this geometry: naive cross-context transfer fails, while rotating directions through the learned map restores strict counterfactual edits; negative controls do not recover.
• Abstract（参考訳）: メタラマ-3-8B(ベース)における3桁の加算を1つの読み出しで検討し、クロストーケンルーティングが因果的に無関係になった後、どのように算術的な解が確定するかを特徴付ける。 因果的残差パッチングと累積的アテンションは、層近傍の鋭い境界—17の領域をローカライズする:その上、復号された和は最後の入力トークンによってほぼ完全に制御され、後期層の自己注意は大部分が可分である。 このルート後状態において、桁(-sum)方向の辞書は次の高階の文脈と異なるが、共有低階部分空間内のほぼ直交写像(低階プロクリストアライメント)によりよく関連している。 ナイーブなクロスコンテキスト転送は失敗し、学習された地図を通して回転する方向は厳密な偽造編集を復元するが、負の制御は回復しない。

関連論文リスト

• Are you going to finish that? A Practical Study of the Partial Token Problem [85.49816027251013]
  言語モデル(LM)はトークンのシーケンスによって訓練されるが、ユーザはテキストを介してLMと対話する。 このミスマッチは、ユーザーが期待する次のトークンの途中でプロンプトを終了したときに発生する部分トークン問題を引き起こす。 この研究では、トークンと"ワード"境界がしばしば並んでいない3つのドメインを特定します。
  論文  参考訳（メタデータ） (2026-01-30T17:47:16Z)
• Addition in Four Movements: Mapping Layer-wise Information Trajectories in LLMs [0.4086920237000588]
  LLaMA-3-8B-インストラクタの内部演算過程を解析する。 人間が追加を行うステップバイステップ方式に着想を得て,コヒーレントな4段階軌道の提案と解析を行った。 出力の近くで、モデルが最終内容を整理し、生成し、正しいトークンが上位ランクを確実に占有する。
  論文  参考訳（メタデータ） (2025-06-09T14:48:43Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• REGTR: End-to-end Point Cloud Correspondences with Transformers [79.52112840465558]
  我々は、注意機構が明示的な特徴マッチングとRANSACの役割を置き換えることができると推測する。 本稿では,最終文集合を直接予測するエンドツーエンドフレームワークを提案する。 提案手法は3DMatchおよびModelNetベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T06:01:00Z)
• Geometric Transformer for Fast and Robust Point Cloud Registration [53.10568889775553]
  点雲登録のための正確な対応を抽出する問題について検討する。 最近のキーポイントフリー手法は、低オーバーラップシナリオでは難しい繰り返し可能なキーポイントの検出を回避している。 本稿では,ロバストなスーパーポイントマッチングのための幾何学的特徴を学習するための幾何学変換器を提案する。
  論文  参考訳（メタデータ） (2022-02-14T13:26:09Z)
• Don't Take It Literally: An Edit-Invariant Sequence Loss for Text Generation [109.46348908829697]
  生成したn-gramのすべてのn-gramとの一致損失を計算した新しい編集不変シーケンス損失(EISL)を提案する。 ノイズの多いターゲットシーケンスを持つ機械翻訳,教師なしテキストスタイル転送,非自己回帰型機械翻訳の3つのタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-29T03:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。