論文の概要: Shared circuits predict whether LLMs generalize across formats in arithmetic reasoning

• arxiv url: http://arxiv.org/abs/2609.04463v1
• Date: Thu, 03 Sep 2026 20:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.816904
• Title: Shared circuits predict whether LLMs generalize across formats in arithmetic reasoning
• Title（参考訳）: 共有回路は算術的推論において LLM が形式全体にわたって一般化するかどうかを予測する
• Abstract要約: モデルの内部から形式間の一般化を予測できるかどうかを問う。 まず、帰属パッチを用いて、各モデルが採用する回路を独立にローカライズし、数値演算問題を解く。 次に、モデル自身の数値回路と重なり合うかどうかを検証し、その言語形式への一般化を予測する。
• 参考スコア（独自算出の注目度）: 45.425059718550436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many forms of reasoning, including arithmetic reasoning, generalizing across superficial changes in input format is effortless for humans: anyone who can solve 2+5 can also solve 'two plus five'. In contrast, LLMs are more brittle to surface variations of the prompts: for example, they solve numeric arithmetic problems almost perfectly but are substantially less accurate on verbal renditions of the same problems. Here, we ask whether generalization across formats can be predicted from the models' internals. Using attribution patching, we first independently localize the circuit that each model recruits to solve numeric arithmetic problems (2+5) vs. verbal ones, in three languages: English ('two plus five'), Spanish ('dos más cinco'), and Italian ('due più cinque'); then, we test whether overlap with the model's own numeric circuit predicts its generalization to the verbal formats. Indeed, we find support for this idea at three levels: circuit overlap accounts for the relative difficulty of the three verbal formats, for which models generalize best, and for which items are solved correctly, rivaling supervised probes while requiring no labeled data.
• Abstract（参考訳）: 算術的推論を含む多くの推論形式において、入力形式における表面的変化を一般化することは、人間にとって困難である: 2+5を解くことができる者は、誰でも「2+5」を解ける。 対照的に、LLMはプロンプトのバリエーションを表わすほど脆く、例えば、数値算術の問題をほぼ完璧に解いているが、同じ問題の言語的再帰についてはかなり正確ではない。 ここでは、モデルの内部からフォーマット間の一般化を予測できるかどうかを問う。 帰属パッチを用いて、まず、各モデルが採用する回路(2+5)と動詞(2+5)の3つの言語(英語(「2+5」)、スペイン語(「dos más cinco」)、イタリア語(「due pi cinque」)を独立にローカライズする。 実際、このアイデアは3つのレベルにおいて支持されている: 回路オーバーラップは、3つの動詞形式の相対的難易度を考慮し、モデルが最も一般化し、どの項目が正しく解かれるかを考慮し、ラベル付きデータを必要としないように教師付きプローブと競合する。

関連論文リスト

• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• Frontier LLMs Still Struggle with Simple Reasoning Tasks [53.497499123166804]
  この研究は、フロンティア言語モデルの性能を、幅広い「容易」推論問題に対して研究する。 計算,一階述語論理,証明木,旅行計画など,手続き的に生成された単純な推論タスクのスイートを作成します。 最先端の思考モデルでさえ、このような問題や同様の理由で一貫して失敗することを示します。
  論文  参考訳（メタデータ） (2025-07-09T22:22:49Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• Frontier Language Models are not Robust to Adversarial Arithmetic, or "What do I need to say so you agree 2+2=5? [88.59136033348378]
  言語モデルアライメントのための単純なテストベッドを提供する逆算術の問題を考察する。 この問題は自然言語で表される算術的な問題から成り、質問が完了する前に任意の逆文字列を挿入する。 これらの攻撃に対して、強化学習やエージェント構成ループを通じて、モデルを部分的に強化できることが示される。
  論文  参考訳（メタデータ） (2023-11-08T19:07:10Z)
• Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data [10.124148115680315]
  本研究では,4つのレベルに10種類以上の推論型を持つ数値推論スキルのための階層型分類法を提案する。 我々は、それらに特有の推論課題を特定するために、最先端モデルの包括的評価を行う。 以上の結果から,すべての数値推論型に対してモデルが常に排他的でないことが示唆された。
  論文  参考訳（メタデータ） (2023-11-03T20:05:30Z)
• Reflection of Thought: Inversely Eliciting Numerical Reasoning in Language Models via Solving Linear Systems [42.782260686177395]
  本稿では,事前学習言語モデルに隠された数値推論知識を抽出し,活用するための新しい手法を提案する。 まず、単純な数値をアンカーとして利用して、暗黙的に推論された算術表現を言語モデルから探索する。 我々は、解析的に解決可能な線形システムとしてタスクを変換し、定式化する。
  論文  参考訳（メタデータ） (2022-10-11T00:57:19Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)
• Investigating the Limitations of the Transformers with Simple Arithmetic Tasks [10.23804850480924]
  その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。 現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
  論文  参考訳（メタデータ） (2021-02-25T17:22:53Z)
• Towards Question Format Independent Numerical Reasoning: A Set of Prerequisite Tasks [23.72187153601608]
  NUMBERGAMEは,8種類の多種形式の数値推論タスクにまたがるモデル性能を評価するための多面的ベンチマークである。 私たちが新たに加えた2つのタイプは、外部の数値知識、常識知識、ドメイン知識を必要とする質問に関するものです。 より実用的な数値推論システムを構築するために、NUMBERGAMEは数値推論以外の4つの機能を必要としている。
  論文  参考訳（メタデータ） (2020-05-18T08:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。