Fugu-MT 論文翻訳(概要): Putnam-like dataset summary: LLMs as mathematical competition contestants

論文の概要: Putnam-like dataset summary: LLMs as mathematical competition contestants

arxiv url: http://arxiv.org/abs/2509.24827v2
Date: Fri, 03 Oct 2025 16:46:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-06 14:21:29.906646
Title: Putnam-like dataset summary: LLMs as mathematical competition contestants
Title（参考訳）: パットナムのようなデータセット要約:数学的競争相手としてのLLM
Authors: Bartosz Bieganowski, Daniel Strzelecki, Robert Skiba, Mateusz Topolewski,
Abstract要約: このデータセットは、パットナム・コンペティションの精神における96の元の問題と、LLMの576の解からなる。我々は,この問題の集合上でのモデルの性能を分析し,数学的なコンテストから問題を解く能力を検証する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper we summarize the results of the Putnam-like benchmark published by Google DeepMind. This dataset consists of 96 original problems in the spirit of the Putnam Competition and 576 solutions of LLMs. We analyse the performance of models on this set of problems to verify their ability to solve problems from mathematical contests.
Abstract（参考訳）: 本稿では,Google DeepMindが発行したPatnam-likeベンチマークの結果を要約する。このデータセットは、パットナム・コンペティションの精神における96の元の問題と、LLMの576の解からなる。我々は,この問題の集合上でのモデルの性能を分析し,数学的なコンテストから問題を解く能力を検証する。

関連論文リスト

Challenging the Boundaries of Reasoning: An Olympiad-Level Math Benchmark for Large Language Models [86.45058529521258]
OlymMATHは、LLMの複雑な推論能力を厳格にテストするために設計された、Olympiadレベルの新しい数学ベンチマークである。 OlymMATHは200の厳密にキュレートされた問題があり、それぞれが手動で検証され、英語と中国語の並行バージョンで利用可能である。
論文参考訳（メタデータ） (2025-03-27T11:20:17Z)
Can Language Models Rival Mathematics Students? Evaluating Mathematical Reasoning through Textual Manipulation and Human Experiments [2.0332066203780452]
我々は,LLaMA-2,LLaMA-3.1,GPT-4,Mixtralを,数学オリンピアードの経験のあるヒトの生徒や大学生と比較した。その結果, GPT-4 に基づくモデルでは, 正解率が他のモデルよりも優れており, 問題の数学的変動は人間よりも有意に優れていた。
論文参考訳（メタデータ） (2024-12-16T15:54:06Z)
Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval [22.865124583257987]
同様に構造化された質問の類似性によって,大規模言語モデルの問題解決能力が向上することを示す。具体的には、与えられた質問に類似した計算グラフを持つ問題の検索を頼りに、プロンプトの見本として機能する。 6つの数学単語問題データセットに対する実験結果から,提案手法の有効性が示された。
論文参考訳（メタデータ） (2024-11-25T15:01:25Z)
HARDMath: A Benchmark Dataset for Challenging Problems in Applied Mathematics [1.5716764919736026]
本稿では,解析的近似技術を必要とする応用数学問題に挑戦するデータセットであるHARDMathを紹介する。本フレームワークは,数値基底真理に対して検証された解を用いて,多数の問題を自動生成する。 HARDMath-miniは,366問題からなるサブサンプルテストセットであり,応用科学の文脈で定式化された40の単語問題に対して,オープンソースLLMとクローズドソースLLMの両方を評価する。
論文参考訳（メタデータ） (2024-10-13T20:09:41Z)
Omni-MATH: A Universal Olympiad Level Mathematic Benchmark For Large Language Models [63.31878920079154]
Olympiadレベルでの大規模言語モデルの数学的推論を評価するためのベンチマークを提案する。既存のOlympiad関連のベンチマークとは違って、我々のデータセットは数学に特化しており、厳密な人間のアノテーションを使った4428の競合レベルの問題の膨大なコレクションを含んでいる。実験の結果,最も先進的なモデルであるOpenAI o1-miniとOpenAI o1-previewでさえ,60.54%と52.55%の精度で,オリンピアードレベルの問題に悩まされ,オリンピアードレベルの数学的推論において重大な課題が浮き彫りにされていることがわかった。
論文参考訳（メタデータ） (2024-10-10T14:39:33Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities [25.857946070979576]
概念とHint-Annotated Math Problems (CHAMP) は、概念に注釈を付けた高校数学の競争問題である。このベンチマークは困難で、最高のモデルは標準設定で58.1%しか得点できない。モデルはしばしば、間違った推論ステップを通じて、正しい最終回答に到達します。
論文参考訳（メタデータ） (2024-01-13T03:18:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。