論文の概要: Solving Every Step Is Not Enough: Milestone Oracles Reveal a Composition Gap in LLM Math Reasoning

• arxiv url: http://arxiv.org/abs/2609.32235v1
• Date: Sat, 26 Sep 2026 04:51:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 18:35:53.635077
• Title: Solving Every Step Is Not Enough: Milestone Oracles Reveal a Composition Gap in LLM Math Reasoning
• Title（参考訳）: すべてのステップを解決するには十分ではない - LLMの数学的推論において、マイルストーンオラクルがコンポジションギャップを発見
• Abstract要約: 大規模言語モデル(LLM)は、多段階数学問題の中間ステップを自分自身で解くことができ、ステップのロードマップと全ての答えが与えられたとしても、完全な問題に失敗する。 OracleLadder は LLM の数学推論が失敗する場所を特定するための診断評価手法である。
• 参考スコア（独自算出の注目度）: 5.227943373419647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can solve every intermediate step of a multi-step math problem on its own and still fail the full problem, even when given a roadmap of the steps and all of their answers. We introduce OracleLadder, a diagnostic evaluation that locates where LLM math reasoning fails by giving the model increasing levels of oracle help. For each problem, a teacher model writes a fixed roadmap of intermediate sub-goals (milestones), and a deterministic symbolic verifier grades every answer. Testing the model with no help, with the roadmap, with the roadmap plus the milestone answers, and on each milestone alone sorts each failure into one of five reasoning gaps. On 354 NuminaMath problems and six models from 8B to 671B parameters (Qwen3, gpt-oss, Llama 3.3, DeepSeek-V3.1), the largest gap for every model is the composition gap, a stricter form of the compositionality gap. It covers 33-48% of problems, and 24-37% after removing problems that an LLM review flags as grading errors. Accuracy and milestone-help recovery rank the two strongest models differently, and two RLVR runs with similar accuracy gains move problems differently. The roadmap effect replicates on MATH500 and AIME 2024/25, per-problem recovery agrees for 83-87% of problems under an independent second teacher, and the help ladder carries over to code generation. We release the data, roadmaps, prompts, and code at https://github.com/slark-prime/OracleLadder.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多段階数学問題の中間ステップをそれ自体で解くことができ、ステップのロードマップと全ての答えが与えられたとしても、完全な問題に失敗する。 OracleLadder は LLM の数学推論が失敗する場所を特定するための診断評価手法である。 それぞれの問題に対して、教師モデルは中間ゴール(マイルストーン)の固定されたロードマップを書き、決定論的記号検証器は答えごとにランク付けする。 ロードマップとマイルストーンの回答、各マイルストーンだけで、各障害を5つの理由の1つに分類する。 354 NuminaMath 問題と 8B から 671B パラメータ (Qwen3, gpt-oss, Llama 3.3, DeepSeek-V3.1) の6つのモデルにおいて、全てのモデルにとって最大のギャップは構成ギャップである。 問題のうち33～48%、LLMレビューフラグをグレーディングエラーとして削除した後の24～37%をカバーしている。 正確性とマイルストーンヘルプの回復は、2つの最強モデルが異なるランク付けされ、同じ精度で2つのRLVRが実行され、問題が異なる。 ロードマップ効果はMATH500とAIME 2024/25で再現され、プロブレム毎のリカバリは独立した第2教師の下での問題の83～87%に一致し、ヘルプはしごはコード生成へと引き継がれる。 データ、ロードマップ、プロンプト、コードはhttps://github.com/slark-prime/OracleLadder.comで公開しています。

関連論文リスト

• CombiGraph-Vis: A Curated Multimodal Olympiad Benchmark for Discrete Mathematical Reasoning [3.609560822507327]
  State-of-the-art (SOTA) LLMは、証明ベースのOlympiad問題から、IMO 2025問題のほとんどを解決するまで、進歩してきた。 本稿では,90 Gemini 2.5 Pro生成ソリューションのコーパスを用いて,詳細なエラーアノテーションを用いた1-4スケールで評価を行った。 分析の結果、モデルが不正確な解を確実にフラグ付けできるが、部分クレジットの割り当て方法にキャリブレーションのギャップがあることがわかった。
  論文  参考訳（メタデータ） (2025-10-31T01:31:58Z)
• Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision [20.09181711927194]
  PathFinder-PRMは,新しい階層型,誤り認識型識別型PRMである。 PRMBenchでは、PathFinder-PRMが67.7の最先端PRMSコアを新たに達成し、3倍の少ないデータを使用しながら、以前の最高値(65.5)を上回った。
  論文  参考訳（メタデータ） (2025-05-26T08:56:36Z)
• Diverse Inference and Verification for Advanced Reasoning [19.88677753421871]
  OpenAI o1、o3、DeepSeek R1のようなLLMの推論は数学とコーディングに大きな進歩をもたらした。 テスト時に複数のモデルとメソッドを組み合わせる、さまざまな推論アプローチを使用します。 数学や符号問題の検証や他の問題に対する拒絶サンプリングは簡単かつ効果的であることがわかった。
  論文  参考訳（メタデータ） (2025-02-14T07:22:25Z)
• Not All Votes Count! Programs as Verifiers Improve Self-Consistency of Language Models for Math Reasoning [24.386388107656334]
  本稿では,自然言語から派生した翻訳プログラムを検証メカニズムとして活用するフレームワークであるProveを紹介する。 バニラ多数決とは異なり、我々の手法は、対応するプログラム出力が生成した解と矛盾する解をフィルタリングし、検証に合格する解のみを集約する。 以上の結果から,すべてのモデルサイズとデータセットにまたがる数学的推論タスクの解決において,Proveはバニラ多数投票を一貫して上回る結果となった。
  論文  参考訳（メタデータ） (2024-10-16T14:24:55Z)
• Navigating the Labyrinth: Evaluating LLMs' Ability to Reason About Search Problems [62.76627483915117]
  大規模言語モデル(LLM)は、最近、数学と推論ベンチマークで印象的なパフォーマンスを達成した。 直感的なパズルにインスパイアされた11のユニークな検索問題を含む新しいベンチマークであるSearchBenchを紹介した。 ステップバイステップで言語のみの推論を用いることで、最も先進的なLLMでさえ、SearchBenchの解決に失敗することを示します。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Orca-Math: Unlocking the potential of SLMs in Grade School Math [10.206509967833664]
  最近の研究では、GSM8Kベンチマークで80%以上の精度を達成するために必要な最小のモデルサイズは、34億のパラメータであると仮定されている。 より小さなモデルでこのレベルのパフォーマンスを達成するために、研究者はしばしばSLMを使ってPythonコードを生成するか、計算エラーを避けるツールを使用する。 エージェントが協調してデータを作成するマルチエージェントセットアップを使用して、200Kの数学問題の高品質な合成データセットを作成する。
  論文  参考訳（メタデータ） (2024-02-16T23:44:38Z)
• Learning From Mistakes Makes LLM Better Reasoner [106.48571828587728]
  大規模言語モデル(LLM)は、最近数学の問題を解く際、顕著な推論能力を示した。 この研究は、LLMが人間の学習プロセスに似たMistAkes(LEMA)から学習できるかどうかを探求する。
  論文  参考訳（メタデータ） (2023-10-31T17:52:22Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。