論文の概要: Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement

• arxiv url: http://arxiv.org/abs/2608.13129v1
• Date: Thu, 13 Aug 2026 12:01:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.509565
• Title: Numeracy in Large Language Models: Fundamental Limitations and Paths to Improvement
• Title（参考訳）: 大規模言語モデルにおける数理化:基本的限界と改善への道
• Abstract要約: 大規模言語モデル (LLM) は, 数学的推論ベンチマークにおいて, 基礎的な数値処理では信頼性が低い。 本調査では,高次数学的推論とは別の基礎的数値理解について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) achieve strong results on mathematical reasoning benchmarks yet remain unreliable on elementary numerical tasks, including magnitude comparison, large-integer arithmetic, fractions, and scientific notation. This survey examines basic numerical understanding as a capability distinct from high-level mathematical reasoning. We propose the Numerical Grounding Framework (NGF), which decomposes numeracy into Representational Grounding (RG), mapping numeral forms to value, magnitude, and equivalent representations, and Procedural Grounding (PG), executing arithmetic operations in accordance with their mathematical definitions. Using NGF, we organize recent diagnostic benchmarks, failure modes, structural explanations, and mitigation strategies. We review evidence concerning tokenization, positional encoding, embedding geometry, and pretraining-data distribution. We also apply NGF in a coordinated evaluation of three frontier model families across Number Cookbook, NumericBench, and GSM-Symbolic, comparing atomic, contextual, and reasoning-assisted numeracy. Architectural interventions such as digit-aware tokenization and Abacus Embeddings can improve models trained from scratch but are generally unavailable to users of pretrained systems, for whom supervised fine-tuning, reasoning scaffolds, and external tools are more practical. We conclude with deployment recommendations and research directions for more reliable numerical behavior in foundation models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数理推論のベンチマークにおいて強力な結果を得るが、数値比較、大整数算術、分数、科学記法など、基本的な数値問題では信頼性が低い。 本研究は,高次数学的推論とは異なる能力としての基本的な数値的理解を考察する。 数値接地フレームワーク (NGF) を提案し, 数値形式を値, 大きさ, 等価表現にマッピングし, 数学的定義に従って算術演算を行う。 NGFを用いて、最近の診断ベンチマーク、障害モード、構造説明、緩和戦略を整理する。 我々はトークン化、位置符号化、埋め込み幾何学、事前学習データ分布に関する証拠をレビューする。 また,NGFをNumber Cookbook,NumericBench,GSM-Symbolicの3つのフロンティアモデルのコーディネート評価に適用し,原子数,文脈数,推論支援数の比較を行った。 デジタル認識トークン化やAbacus Embeddingsのようなアーキテクチャ介入は、スクラッチからトレーニングされたモデルを改善することができるが、トレーニング済みシステムのユーザには一般的には利用できない。 基礎モデルにおいて,より信頼性の高い数値的挙動を示すため,デプロイメントの推奨と研究の方向性を結論付けている。

関連論文リスト

• What Really Improves Mathematical Reasoning: Structured Reasoning Signals Beyond Pure Code [72.9921566968371]
  ドメイン分離のきめ細かい10T-tokenコーパスにおける事前学習の制御実験により,コードが推論を改善するという主張を再考する。 コードはプログラミング能力を大幅に改善するが、一般的な推論エンハンサーとして機能しない。 コード-テキストと数学-テキストの混合のようなドメイン間構造的推論トレースがよりうまく説明されている。
  論文  参考訳（メタデータ） (2026-05-19T12:37:01Z)
• Reasoning over mathematical objects: on-policy reward modeling and test time aggregation [120.92237765735813]
  数学的オブジェクト、Principiaスイートを導出するためのトレーニングデータとベンチマークを構築し、リリースする。 オンライントレーニングは,アグリゲーションによるテスト時間計算のスケールアップにも有効であることを示す。 Qwen3-235Bやo3のような強力なLMがプリンキピアで苦戦しているのに対して、トレーニングレシピは大幅に改善されている。
  論文  参考訳（メタデータ） (2026-03-19T13:27:12Z)
• Systematic Diagnosis of Brittle Reasoning in Large Language Models [1.14219428942199]
  人工知能における中心的な問題は、機械学習モデルが数学を理解する範囲である。 本稿では,特定の故障点を診断するために,標準ベンチマークを超えて数学的推論を計測する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-10-05T21:40:09Z)
• Exposing Numeracy Gaps: A Benchmark to Evaluate Fundamental Numerical Abilities in Large Language Models [19.47343987998194]
  大規模言語モデル(LLM)は、自然言語処理タスクにおける印象的な機能を示している。 基本算術、数値、等級数比較などの数値推論タスクにおけるそれらの性能は、驚くほど貧弱なままである。 既存のベンチマークは主に言語能力や構造化された数学的問題解決に焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-16T10:48:28Z)
• Mathematical Reasoning in Large Language Models: Assessing Logical and Arithmetic Errors across Wide Numerical Ranges [0.0]
  GSM-Rangesは、数学問題における数値を体系的に摂動させ、様々な数値スケールでモデルロバスト性を評価するデータセットジェネレータである。 また,論理的誤りと非論理的誤りを区別し,推論過程を計算精度以上の精度で評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-02-12T09:53:10Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• The Foundations of Tokenization: Statistical and Computational Concerns [51.370165245628975]
  トークン化は、NLPパイプラインにおける重要なステップである。 NLPにおける標準表現法としての重要性は認識されているが、トークン化の理論的基盤はまだ完全には理解されていない。 本稿では,トークン化モデルの表現と解析のための統一的な形式的枠組みを提案することによって,この理論的ギャップに対処することに貢献している。
  論文  参考訳（メタデータ） (2024-07-16T11:12:28Z)
• TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative Language Models [68.65075559137608]
  本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。 我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。 我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
  論文  参考訳（メタデータ） (2023-10-16T08:42:39Z)
• FERMAT: An Alternative to Accuracy for Numerical Reasoning [11.893004722079557]
  数値推論は、既存のデータセットの単一スコアを用いて測定される。 我々は、FERMATと呼ばれる、英語の数値推論のための多視点評価セットを導入する。 FerMATは、数理解、数学的操作、訓練依存など、様々な重要な数値推論の側面でモデルを評価する。
  論文  参考訳（メタデータ） (2023-05-27T15:00:45Z)
• NumGPT: Improving Numeracy Ability of Generative Pre-trained Models [59.931394234642816]
  テキスト中の数値特性を明示的にモデル化する生成事前学習モデルであるNumGPTを提案する。 具体的には、プロトタイプベースの数値埋め込みを利用して、数値の行列をエンコードし、個々の埋め込みをエンコードし、数値の指数をエンコードする。 数値認識損失関数は、NumGPTの事前学習目的に数値を統合するように設計されている。
  論文  参考訳（メタデータ） (2021-09-07T15:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。