論文の概要: Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs

• arxiv url: http://arxiv.org/abs/2607.16693v1
• Date: Sat, 18 Jul 2026 08:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.229237
• Title: Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs
• Title（参考訳）: 有理論的ヒューリスティックニューロンは不変か? : LLMにおける記号・文・符号の力学解析
• Abstract要約: 我々は,算術ニューロンが記号サブトラクション,自然言語語問題,Pythonコードにまたがる形式不変性について検討する。 ニューロンのコンパクトなセットは3つのフォーマットすべてで共有され、標的となる介入は、この共有回路が遅延層演算に必要かつ十分であることを示す。
• 参考スコア（独自算出の注目度）: 1.1087735229999816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often succeed on one formulation of a problem while failing on an equivalent formulation. Whether these failures arise from distinct internal circuits or different activation states of a shared circuit remains unknown. Recent mechanistic interpretability studies suggest that arithmetic in LLMs emerges from a "bag of heuristics," encoded by a sparse set of MLP neurons that represent distinct arithmetic strategies. We investigate whether arithmetic heuristic neurons are form-invariant across symbolic arithmetic, natural language word problems, and Python code in three Llama-3 models. In each format, we identify arithmetic heuristic neurons using a two-stage pipeline combining attribution patching and activation patching. A compact set of neurons is shared across all three formats, and targeted interventions show this shared circuit is both necessary and sufficient for late-layer arithmetic computation. Transferring the shared neurons' activations from a successful execution in one format to a failed execution in another recovers most incorrect predictions, exceeding 97% for addition and subtraction, indicating that cross-format failures arise from activation states rather than distinct circuits. Moreover, shared neurons consistently belong to the same heuristic families across formats, demonstrating that arithmetic computation in LLMs is largely form-invariant at the neuron level.
• Abstract（参考訳）: 大きな言語モデルは、同等の定式化に失敗しながら、問題の1つの定式化に成功することが多い。 これらの障害が、異なる内部回路から生じるか、共有回路の異なる活性化状態から生じるかは、いまだ不明である。 近年の機械論的解釈可能性の研究は、LSMの算術は、異なる算術戦略を表すMLPニューロンのスパースセットによって符号化された「ヒューリスティックのバグ」から現れることを示唆している。 我々は3つのLlama-3モデルにおいて,算術的ヒューリスティックニューロンが記号演算,自然言語語問題,Pythonコード間で形式不変であるかどうかを検討する。 各形式において、帰属パッチとアクティベーションパッチを組み合わせた2段階パイプラインを用いて、算術的ヒューリスティックニューロンを同定する。 ニューロンのコンパクトなセットは3つのフォーマットすべてで共有され、ターゲットとなる介入は、この共有回路は、遅延層演算の計算に必要かつ十分であることを示す。 共有ニューロンのアクティベーションを、あるフォーマットで成功した実行から別のフォーマットで失敗した実行に転送すると、最も誤った予測が回復し、加算と減算の97%を超え、異なる回路ではなくアクティベーション状態からクロスフォーマット障害が発生することを示す。 さらに、共有ニューロンは、フォーマット全体にわたって同じヒューリスティックなファミリーに属しており、LLMの算術演算がニューロンレベルで主に形式不変であることが証明されている。

関連論文リスト

• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• An analysis of optimization problems involving ReLU neural networks [38.258426534664046]
  本研究では,混合整数型プログラミング解法における実行時間挙動の解析と改善手法について検討する。 本論文では,これらの手法を3つのベンチマーク問題に対して数値的に比較する。 主要な出発点として、我々は、しばしば望まれるニューラルネットワークモデルの冗長性と、関連する最適化問題を解決するための計算コストとの間のトレードオフを観察し、定量化する。
  論文  参考訳（メタデータ） (2025-02-05T09:18:07Z)
• Arithmetic Without Algorithms: Language Models Solve Math With a Bag of Heuristics [43.86518549293703]
  大規模言語モデル (LLM) は, 頑健なアルゴリズムや暗記を使わず, 算術的に実行可能であることを示す。 実験結果から,LLMはロバストなアルゴリズムや暗記を使わずに演算を行うことがわかった。
  論文  参考訳（メタデータ） (2024-10-28T17:59:06Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints [46.60806942245395]
  本稿では,MLN上で平均場変動推定を行う新しいニューラルネットワーク層LogicMPを提案する。 モジュール性と効率を保ちながら、FOLCをエンコードするために、市販のニューラルネットワークにプラグインすることができる。 グラフ、画像、テキストの3種類のタスクを経験した結果、LogicMPは、パフォーマンスと効率の両面で、先進的な競合より優れています。
  論文  参考訳（メタデータ） (2023-09-27T07:52:30Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。