論文の概要: A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning

• arxiv url: http://arxiv.org/abs/2609.17804v1
• Date: Tue, 15 Sep 2026 20:15:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.533181
• Title: A Four-Stage Decomposition of Word-Problem Solving and Mechanistic Fragility in LLM Math Reasoning
• Title（参考訳）: LLM数学推論における単語プロブレム解法と機械的不安定性の4段階分解
• Abstract要約: 大規模言語モデルは、高精度で小学校数学の単語問題を解くが、問題に挿入された1つの無関係な節は、それを崩壊させる可能性がある。 モデルの内部計算は4段階の逐次パイプラインに分解されることを示す。 同じ足場を使って障害を引き起こし、汚職をひとつのステージ、オペレーションプランニングにローカライズします。
• 参考スコア（独自算出の注目度）: 23.52093390356339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models solve grade-school math word problems with high accuracy, yet a single irrelevant clause inserted into the problem can collapse it. We reconcile these observations with a mechanistic account. We show that the model's internal computation decomposes into a four-stage sequential pipeline, Schema Abstraction, Operation Planning, Operand Binding, and Computation, each stage producing a distinct intermediate representation in an identifiable band of layers. Using the same scaffold to diagnose distractor-induced failure, we localize the corruption to a single stage, Operation Planning, implemented by a set of attention heads whose causal role we validate bidirectionally. In short, we provide a mechanistic interpretation of math word problem reasoning in LLMs, and their failure when distracted.
• Abstract（参考訳）: 大規模言語モデルは、高精度で小学校数学の単語問題を解くが、問題に挿入された1つの無関係な節は、それを崩壊させる可能性がある。 我々はこれらの観測を力学的な説明で一致させる。 モデルの内部計算は4段階の逐次パイプライン、Schema Abstraction、Operation Planning、Operand Binding、Computationに分解され、各段階が識別可能な層で異なる中間表現を生成する。 障害発生時の障害を診断するために,同一の足場を用いて,2方向の因果的役割を検証している注目者のセットによって実施された,単一ステージの運用計画(Operation Planning)にローカライズする。 言い換えると、LLMにおける数学語問題推論の機械論的解釈と、注意をそらすと失敗する。

関連論文リスト

• Representation Robustness Under Executable Reasoning Constraints in Large Language Models for Mathematical Problem Solving [3.0618862102164996]
  本稿では,大規模言語モデル(LLM)における表現ロバスト性について検討する。 我々は、物語、記号、単語方程式の変種にまたがる非自明なフリップレートで、かなりの表現感度を見出した。 LLMの評価と展開において、表現は第一級インタフェース設計変数として扱われるべきである。
  論文  参考訳（メタデータ） (2026-07-08T17:21:28Z)
• Masked Distillation: Internalizing the Chain-of-Thought in Language Models [15.237352001135376]
  大規模推論モデル(LRM)は、推論時に最終的な答えを生成する前に、中間ステップの長い明示的な連鎖を生成する。 これらの中間トークンで表現された計算は、言語モデルのパラメータに内部化できますか? 本稿では, 学生のLLMを学習して, 質問に照らされた解トークンのみを予測する知識蒸留フレームワークであるtextitmasked distillationを紹介した。
  論文  参考訳（メタデータ） (2026-06-18T21:19:38Z)
• How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
  我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。 我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
  論文  参考訳（メタデータ） (2026-04-26T14:34:49Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
  我々は文脈的数学的推論を通してギャップを研究する。 AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。 オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
  論文  参考訳（メタデータ） (2026-01-30T14:56:04Z)
• Understanding LLM Failures: A Multi-Tape Turing Machine Analysis of Systematic Errors in Language Model Reasoning [0.033842793760651545]
  大きな言語モデル(LLM)は、一見自明なタスクで失敗モードを示す。 決定論的マルチテープチューリングマシンを用いたインタラクションの形式化を提案する。 このモデルは、特定のパイプラインステージへの障害モードの正確なローカライズを可能にする。
  論文  参考訳（メタデータ） (2026-01-27T16:12:01Z)
• Beyond Memorization: Testing LLM Reasoning on Unseen Theory of Computation Tasks [8.210112631285666]
  大規模言語モデル(LLM)は、形式的な言語タスクにおいて強力なパフォーマンスを示している。 正規言語を用いた決定論的有限オートマトン (DFA) 構築のためのベンチマークを導入する。 モデルが実際の質問に対して完璧に精度を達成し、タスクに対して84-90%を達成できることを示すが、その精度は目に見えない問題に対して急激に低下する。
  論文  参考訳（メタデータ） (2026-01-19T21:00:31Z)
• Exposing Attention Glitches with Flip-Flop Language Modeling [55.0688535574859]
  この研究は、大きな言語モデルにおける注意点の現象を特定し、分析する。 ニューラルネットワークモデルの外挿挙動を探索するために設計された,合成ベンチマークのファミリであるフリップフロップ言語モデリング(FFLM)を導入する。 その結果,Transformer FFLM は散発的推論誤差の長い尾に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T17:44:35Z)
• Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
  3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。 これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。 実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
  論文  参考訳（メタデータ） (2023-05-29T23:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。