論文の概要: "Close enough?" An investigation into multiplication errors in LLMs

• arxiv url: http://arxiv.org/abs/2610.38634v1
• Date: Wed, 28 Oct 2026 10:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.992416
• Title: "Close enough?" An investigation into multiplication errors in LLMs
• Title（参考訳）: 「十分か?」LLMにおける乗算誤差の検討
• Abstract要約: 乗算誤差は加算型雑音量子化モデルに適合しないことを示す。 代わりに、小さなQwenモデルで新しいエラー機構を発見できる。 以上の結果から, 変圧器の数値推論に関する新たな力学的知見が得られた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) frequently fail at multi-digit arithmetic, but the underlying mechanisms governing these failures remain poorly understood. While recent work demonstrates that addition errors follow a "noisy quantisation" model localised around carry boundaries, whether this framework generalises to multiplication remains an open question. In this work, we evaluate multiplication capabilities across several small base LLMs on a dataset of 16,991 problems spanning varied operand lengths. We show that multiplication errors do not conform to the addition-style noisy quantisation model. Instead, we uncover a novel error regime in small Qwen models: errors in lower-order columns predominantly preserve parity. Conversely, higher-order digit errors shift toward off-by-one carry failures. Our findings suggest that arithmetic computation in LLMs relies on distinct, multi-periodic internal representations where parity is tracked more robustly than exact digit identity, providing new mechanistic insights into numerical reasoning in transformers.
• Abstract（参考訳）: 大規模言語モデル (LLM) は多桁算術でしばしば失敗するが、これらの失敗を管理する基本的なメカニズムはよく理解されていない。 最近の研究は、加算エラーはキャリーバウンダリを中心にローカライズされた"ノイズの多い量子化"モデルに従っていることを示しているが、このフレームワークが乗算に一般化するかどうかは未解決の問題である。 本研究では,異なるオペランド長さにまたがる16,991のデータセットを用いて,複数の小集合LLM間の乗算能力を評価する。 乗算誤差は加算型雑音量子化モデルに適合しないことを示す。 代わりに、我々は小さなQwenモデルで新しいエラー機構を発見した: 下位列のエラーは、主にパリティを保存する。 逆に、高次の桁誤差はオフ・バイ・ワンの失敗へと移行する。 LLMにおける算術演算は、パリティが正確な桁数よりも頑健に追跡されるような、異なる多周期な内部表現に依存しており、変圧器の数値推論に関する新しい力学的な洞察を与えることが示唆されている。

関連論文リスト

• Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks [2.6659012768342145]
  算術語問題に対する数値再マッピング攻撃を自動生成するアルゴリズムを提案する。 我々は,GSM8K,MAWPS,MultiArith上でDeepSeek-R1(70B),Gemma4(31B),GPT-OSS(120B)を評価した。
  論文  参考訳（メタデータ） (2026-06-02T13:09:44Z)
• Multiplication in Multimodal LLMs: Computation with Text, Image, and Audio Inputs [0.8129517423858409]
  マルチモーダル LLM は、モダリティをまたいだ数値内容を正確に知覚できるが、正確なマルチ桁乗算はできない。 本稿では,桁長,桁幅,表現を因子的に変化させるマルチモーダル乗法ベンチマークを提案する。 また、算術負荷 C を総桁数と非ゼロ桁数の積として定義する。
  論文  参考訳（メタデータ） (2026-04-20T12:52:07Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Unravelling the Mechanisms of Manipulating Numbers in Language Models [9.583581545538479]
  言語モデルが数値を操作し、これらのメカニズムの低い精度境界を定量化する方法について検討する。 誤りに直面するにもかかわらず、異なる言語モデルは、体系的、高度に正確で普遍的な数値の交換可能な表現を学習する。 以上の結果から,事前学習したLLMが数値を操作し,より正確な探索手法の可能性を概説した。
  論文  参考訳（メタデータ） (2025-10-30T09:08:50Z)
• Frontier LLMs Still Struggle with Simple Reasoning Tasks [53.497499123166804]
  この研究は、フロンティア言語モデルの性能を、幅広い「容易」推論問題に対して研究する。 計算,一階述語論理,証明木,旅行計画など,手続き的に生成された単純な推論タスクのスイートを作成します。 最先端の思考モデルでさえ、このような問題や同様の理由で一貫して失敗することを示します。
  論文  参考訳（メタデータ） (2025-07-09T22:22:49Z)
• The Lookahead Limitation: Why Multi-Operand Addition is Hard for LLMs [11.381509495594111]
  自己回帰型大規模言語モデル(LLM)は、様々なタスクで優れた性能を示すが、単純な算術には耐えられない。 LLMの単純な1桁のルックアヘッドは、2つのオペランドの追加に対してかなりうまく機能するが、マルチオペランドの場合は失敗する。
  論文  参考訳（メタデータ） (2025-02-27T11:03:27Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。