論文の概要: Evaluating Intermediate Reasoning of Code-Assisted Large Language Models for Mathematics

• arxiv url: http://arxiv.org/abs/2504.17665v2
• Date: Tue, 22 Jul 2025 11:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 17:22:28.558795
• Title: Evaluating Intermediate Reasoning of Code-Assisted Large Language Models for Mathematics
• Title（参考訳）: 算数用コード支援大言語モデルの中間推論の評価
• Authors: Zena Al-Khalili, Nick Howell, Dietrich Klakow,
• Abstract要約: 我々は,コード支援型LCM生成プログラムを,数理推論タスクに応答して詳細に解析する。 この結果から, モデルの性能が, 問題の解法として実装された論理に大きく影響していることが示唆された。
• 参考スコア（独自算出の注目度）: 15.695635219034328
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Assisting LLMs with code generation improved their performance on mathematical reasoning tasks. However, the evaluation of code-assisted LLMs is generally restricted to execution correctness, lacking a rigorous evaluation of their generated programs. In this work, we bridge this gap by conducting an in-depth analysis of code-assisted LLMs generated programs in response to math reasoning tasks, with a focus on evaluating the soundness of the underlying reasoning processes. For this purpose, we assess the generations of five LLMs, on several math datasets, both manually and automatically, and propose a taxonomy of generated programs based on their logical soundness. Our findings show that the capabilities of models significantly impact the logic implemented to solve the problem. Closed-source LLMs ground their programs in mathematical concepts, whereas open-source models often resort to unsound reasoning, relying on memorized information and exhaustive searches. Furthermore, increasing the difficulty of problems decreases sound generations for all models, revealing a critical shortcoming of LLMs on complex mathematics, contrary to what accuracy metrics suggest. Our work highlights the need for more holistic evaluations of code-assisted LLMs beyond execution accuracy metrics, toward a better understanding of LLMs' limits in the math domain.
• Abstract（参考訳）: コード生成によるLLMの補助により、数学的推論タスクのパフォーマンスが向上した。 しかし、コードアシストLDMの評価は一般に実行の正確さに制限されており、生成したプログラムの厳密な評価が欠如している。 本研究では,このギャップを,数値推論タスクに応答してコード支援LLM生成プログラムを詳細に解析し,基礎となる推論プロセスの健全性を評価することによって橋渡しする。 そこで本研究では,手動と自動の両方の数学データセットを用いて,5つのLLMの世代別評価を行い,その論理的健全性に基づいて生成されたプログラムの分類法を提案する。 この結果から, モデルの性能が, 問題の解法として実装された論理に大きく影響していることが示唆された。 クローズドソースのLLMはプログラムを数学的概念で基礎づける一方、オープンソースモデルは、記憶された情報や網羅的な検索に頼って、不適切な推論に頼っていることが多い。 さらに、問題の難しさを増大させると、全てのモデルにおける音の発生が減少し、精度の指標が示すものとは対照的に、複雑な数学におけるLLMの重大な欠点が明らかになる。 我々の研究は、計算領域におけるLLMの限界をよりよく理解するために、実行精度の指標を超えて、コードアシスト型LLMのより包括的な評価の必要性を強調している。

関連論文リスト

• Is LLM-Generated Code More Maintainable \& Reliable than Human-Written Code? [4.893345190925178]
  本研究では,LLM生成コードと人手書きコードの内部品質特性を比較した。 我々の分析によると、LLM生成コードにはバグが少なく、全体的な修正に労力がかかりません。
  論文  参考訳（メタデータ） (2025-08-01T15:17:34Z)
• Computational Thinking Reasoning in Large Language Models [69.28428524878885]
  計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。 ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-03T09:11:15Z)
• Investigating the Shortcomings of LLMs in Step-by-Step Legal Reasoning [34.427730009102966]
  推論誤りを特定し,LLMの性能を評価するための自動評価フレームワークを開発した。 我々の研究は、論理集約的な複雑なタスクに対する推論チェーンの詳細なエラー解析に使用できる評価フレームワークとしても機能する。
  論文  参考訳（メタデータ） (2025-02-08T19:49:32Z)
• Non-myopic Generation of Language Models for Reasoning and Planning [45.75146679449453]
  本稿では,モデル予測制御を利用した予測復号化手法を提案する。 我々の実験では、数学、コーディング、エージェントの幅広いタスクにおいて、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-10-22T17:13:38Z)
• HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
  本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。 本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。 HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
  論文  参考訳（メタデータ） (2024-10-13T20:09:41Z)
• MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs [61.74749961334557]
  MathHayは、LLMの長文数学的推論能力を評価するために設計された自動ベンチマークである。 我々は,8つのトップパフォーマンスモデルの長文数学的推論能力を評価するために,MathHayの広範な実験を行った。
  論文  参考訳（メタデータ） (2024-10-07T02:30:07Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• MathBench: Evaluating the Theory and Application Proficiency of LLMs with a Hierarchical Mathematics Benchmark [82.64129627675123]
  MathBenchは、大規模言語モデルの数学的能力を厳格に評価する新しいベンチマークである。 MathBenchは幅広い数学の分野にまたがっており、理論的な理解と実践的な問題解決のスキルの両方を詳細に評価している。
  論文  参考訳（メタデータ） (2024-05-20T17:52:29Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• InternLM-Math: Open Math Large Language Models Toward Verifiable Reasoning [98.53491178426492]
  InternLM2から事前学習を継続するILMs InternLM-Mathをオープンソースとして公開する。 我々は、連鎖推論、報酬モデリング、形式推論、データ拡張、コードインタプリタを、統一されたSeq2seqフォーマットで統一する。 我々の事前学習モデルは、微調整なしでMiniF2Fテストセットで30.3を達成する。
  論文  参考訳（メタデータ） (2024-02-09T11:22:08Z)
• Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
  算術的推論とコード生成という,2つの一般的な推論タスクに注目します。 i) 数学やコーディング問題に対する摂動の一般的なオントロジー, (ii) 摂動を応用するための半自動手法, (iii) 2つのデータセットを紹介する。 混乱した質問に対して、すべてのモデルで大幅なパフォーマンス低下を示します。
  論文  参考訳（メタデータ） (2024-01-17T18:13:07Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。