論文の概要: The Effect of Scripts and Formats on LLM Numeracy

• arxiv url: http://arxiv.org/abs/2601.15251v1
• Date: Wed, 21 Jan 2026 18:33:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.495619
• Title: The Effect of Scripts and Formats on LLM Numeracy
• Title（参考訳）: スクリプトとフォーマットがLLM数量に及ぼす影響
• Authors: Varshini Reddy, Craig W. Schmidt, Seth Ebner, Adam Wiemerslage, Yuval Pinter, Chris Tanner,
• Abstract要約: 大規模言語モデル (LLM) は、基本的な算術において優れた習熟度を達成している。 本研究では,多種多様な数字の書式および書式に対する数値推論について検討する。 数値入力が表現不足のスクリプトやフォーマットでレンダリングされると,LLMの精度が大幅に低下することを示す。
• 参考スコア（独自算出の注目度）: 13.419936474311159
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved impressive proficiency in basic arithmetic, rivaling human-level performance on standard numerical tasks. However, little attention has been given to how these models perform when numerical expressions deviate from the prevailing conventions present in their training corpora. In this work, we investigate numerical reasoning across a wide range of numeral scripts and formats. We show that LLM accuracy drops substantially when numerical inputs are rendered in underrepresented scripts or formats, despite the underlying mathematical reasoning being identical. We further demonstrate that targeted prompting strategies, such as few-shot prompting and explicit numeral mapping, can greatly narrow this gap. Our findings highlight an overlooked challenge in multilingual numerical reasoning and provide actionable insights for working with LLMs to reliably interpret, manipulate, and generate numbers across diverse numeral scripts and formatting styles.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、標準的な数値処理における人間レベルの性能に匹敵する、基本的な算術において優れた習熟度を達成している。 しかし,これらのモデルが,学習コーパスに存在する一般的な慣行から逸脱した数値表現でどのように機能するかについては,ほとんど注目されていない。 本研究では,多種多様な数字の書式と書式にまたがる数値推論について検討する。 LLMの精度は、基礎となる数学的推論が同一であるにもかかわらず、未表現のスクリプトやフォーマットで数値入力がレンダリングされると大幅に低下することを示す。 さらに,少数ショットプロンプトや明示的な数値マッピングなど,目標とするプロンプト戦略が,このギャップを大幅に狭めることを実証した。 本研究は,多言語における数値推論の難しさを浮き彫りにして,LLMと協調して様々な数字のスクリプトやフォーマットスタイルの数値を確実に解釈し,操作し,生成する上で,実用的な洞察を提供するものである。

関連論文リスト

• Unravelling the Mechanisms of Manipulating Numbers in Language Models [9.583581545538479]
  言語モデルが数値を操作し、これらのメカニズムの低い精度境界を定量化する方法について検討する。 誤りに直面するにもかかわらず、異なる言語モデルは、体系的、高度に正確で普遍的な数値の交換可能な表現を学習する。 以上の結果から,事前学習したLLMが数値を操作し,より正確な探索手法の可能性を概説した。
  論文  参考訳（メタデータ） (2025-10-30T09:08:50Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Language Models Encode Numbers Using Digit Representations in Base 10 [12.913172023910203]
  本稿では,大規模言語モデル (LLM) が単純な数値問題を扱う際に誤りを犯すことを示す。 LLMは内部的に、基数10の個々の円の表現を持つ数を表す。 この数値表現は、数値推論を含むタスクにおけるモデルの誤りパターンに光を当てる。
  論文  参考訳（メタデータ） (2024-10-15T17:00:15Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Language Models Encode the Value of Numbers Linearly [28.88044346200171]
  数学の基本要素である数値を言語モデルでエンコードする方法を考察する。 実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。 我々の研究は、LLMが数値を線形にエンコードする証拠を提供する。
  論文  参考訳（メタデータ） (2024-01-08T08:54:22Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems [42.782260686177395]
  本稿では,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。 まず、単純な数値をアンカーとして利用して、暗黙的に推論された算術表現を言語モデルから探索する。 我々は、解析的に解決可能な線形システムとしてタスクを変換し、定式化する。
  論文  参考訳（メタデータ） (2022-10-11T00:57:19Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。