論文の概要: CrowdMath: A Dataset of Crowdsourced Mathematical Research Discussions
- arxiv url: http://arxiv.org/abs/2606.06526v1
- Date: Tue, 02 Jun 2026 20:38:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.343541
- Title: CrowdMath: A Dataset of Crowdsourced Mathematical Research Discussions
- Title（参考訳）: CrowdMath: クラウドソーシングによる数学的研究に関する議論のデータセット
- Abstract要約: 我々は、MIT PRIMES--Art of Problem Solving (AoPS)プログラムから164のエキスパートアノテートプログレスチェーンのデータセットであるCrowdMathを紹介する。
各チェーンは、オープンプロブレムステートメントから完成した証明まで、多人数のフォーラムディスカッションをトレースする。
モデルは次のポスト予測において83～88%の精度を達成し、数学的議論の局所的な流れに従うことができることを示唆している。
- 参考スコア（独自算出の注目度）: 7.449578020792231
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have made substantial progress on mathematical reasoning, but existing benchmarks typically evaluate well-specified problems with final answers, step-by-step solutions, or complete proofs. They do not capture collaborative open-problem solving: a setting in which participants propose partial arguments, identify gaps or errors in prior steps, repair flawed reasoning, and gradually synthesize incremental contributions into a proof. We introduce CrowdMath, a dataset of 164 expert-annotated progress chains from the MIT PRIMES--Art of Problem Solving (AoPS) CrowdMath program (2016-2025), a collaborative research initiative whose discussions have led to peer-reviewed publications. Each chain traces a multi-participant forum discussion from an open-problem statement to a completed proof. Posts are labeled by their functional roles in the evolving solution process, including partial progress, proof completion, erroneous reasoning, and error identification. We define evaluation tasks and benchmark six frontier models. Models achieve 83-88% accuracy on next-post prediction, suggesting that they can follow the local flow of mathematical discussion. However, they struggle to identify the functional significance of individual contributions with the best model achieving only 0.42 macro-F1 on post-role classification. CrowdMath exposes a gap between solving well-specified mathematical problems and understanding collaborative mathematical progress as it unfolds.
- Abstract（参考訳）: 大規模な言語モデルは、数学的推論においてかなりの進歩を遂げてきたが、既存のベンチマークでは、最終解、ステップバイステップの解、あるいは完全な証明で、よく特定された問題を評価するのが一般的である。
参加者が部分的な議論を提案し、事前ステップのギャップやエラーを特定し、欠陥のある推論を修復し、徐々に証明に貢献する、という設定です。
我々は、MIT PRIMES-Art of Problem Solving (AoPS) CrowdMath Program (2016-2025) から164のエキスパートアノテートプログレスチェーンのデータセットであるCrowdMathを紹介した。
各チェーンは、オープンプロブレムステートメントから完成した証明まで、多人数のフォーラムディスカッションをトレースする。
ポストは、部分進行、証明完了、誤った推論、誤り識別など、進化するソリューションプロセスにおけるそれらの機能的役割によってラベル付けされる。
評価タスクを定義し、6つのフロンティアモデルをベンチマークする。
モデルは次のポスト予測において83～88%の精度を達成し、数学的議論の局所的な流れに従うことができることを示唆している。
しかし、彼らは個々のコントリビューションの機能的意義を最良のモデルで識別するのに苦労し、ポストロール分類では0.42マクロF1しか達成できなかった。
CrowdMathは、明確に定義された数学的問題を解くことと、それが広がるにつれて協調的な数学的進歩を理解することのギャップを露呈する。
関連論文リスト
- ProofCouncil: An LLM Agent for Solving Open Mathematical Problems [2.90620992303615]
本稿では,著者批判アーキテクチャを用いてオープンな問題に対処する数学的エージェントProofCouncilを紹介する。
ProofCouncilは、エージェントが自律的に解決しなければならない10の現実の数学的問題からなるチャレンジであるFirstProofの第2バッチの提出として機能した。
人的フィードバックを受けた21のソリューションのうち、5は完全正当と判断され、さらに2つは有望な最終検証と判断され、さらに8つは有用な部分的な進歩を含んでいた。
論文 参考訳（メタデータ） (2026-07-10T14:46:01Z) - MIRA-Math: A Benchmark for Minimal Information Requesting and Mathematical Reasoning [0.0]
MIRA-Mathは、完全な潜伏状態がユニークな答えを持つ問題を解決するためのベンチマークである。
解決者は、厳格な予算の下で自然言語の行方不明情報を要求し、返却された事実を正確な最終回答に統合しなければならない。
MIRA-Mathは、代数、確率、線形系、離散構造、信号処理、マルコフ連鎖、回路、計算、数値境界値問題にまたがる22の型付き数学的ファミリーから2,310個のインスタンスを生成する。
論文 参考訳（メタデータ） (2026-07-08T13:23:56Z) - Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math [55.83696908107408]
スクラッチマス(ScratchMath)は,手書き数学のスクラッチワークにおける誤りの説明と分類のための新しいベンチマークである。
本データセットは,中国初等・中等生の1,720個の数学サンプルからなる。
我々は,ScratchMath上での16のMLLMを系統的に評価し,人的専門家に対する顕著な性能差を明らかにした。
論文 参考訳（メタデータ） (2026-03-26T02:57:20Z) - HorizonMath: Measuring AI Progress Toward Mathematical Discovery with Automatic Verification [54.06301039725887]
計算および応用数学において8つの領域にまたがる100以上の未解決問題のベンチマークであるHorizonMathを紹介する。
我々のベンチマークは、発見が困難であり、意味のある数学的洞察を必要とする問題のクラスをターゲットにしているが、検証は計算的に効率的で簡単なものである。
論文 参考訳（メタデータ） (2026-03-16T17:59:53Z) - Deconstructing Multimodal Mathematical Reasoning: Towards a Unified Perception-Alignment-Reasoning Paradigm [82.57296908195654]
MMR(Multimodal Mathematical Reasoning)は、テキストと視覚の両方のモダリティを含む数学的問題を解く能力に注目が集まっている。
現在のモデルは、実世界の視覚数学のタスクにおいて大きな課題に直面している。
論文 参考訳（メタデータ） (2026-03-09T12:11:00Z) - From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
我々は文脈的数学的推論を通してギャップを研究する。
AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。
オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
論文 参考訳（メタデータ） (2026-01-30T14:56:04Z) - Towards Solving More Challenging IMO Problems via Decoupled Reasoning and Proving [48.22540519786074]
最近の研究では、非公式な精度は80%を超え、公式な成功はPutnamBenchのようなベンチマークで8%以下である。
低レベルの証明生成から高レベルの推論を分離する新しいフレームワークを提案する。
提案手法は,2000年以降のIMO問題に対して,従来のオープンソース証明者が未報告の課題として評価した。
論文 参考訳（メタデータ） (2025-07-07T22:38:49Z) - Solving Inequality Proofs with Large Language Models [42.667163027148916]
不等式証明は様々な科学・数学分野において不可欠である。
これにより、大きな言語モデル(LLM)の需要が高まるフロンティアとなる。
我々は、Olympiadレベルの不平等を専門家が計算したデータセットであるIneqMathをリリースした。
論文 参考訳（メタデータ） (2025-06-09T16:43:38Z) - MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [85.50740598523818]
MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。
5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。
我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
論文 参考訳（メタデータ） (2024-02-14T05:57:58Z) - CHAMP: A Competition-level Dataset for Fine-Grained Analyses of LLMs' Mathematical Reasoning Capabilities [25.857946070979576]
概念とHint-Annotated Math Problems (CHAMP) は、概念に注釈を付けた高校数学の競争問題である。
このベンチマークは困難で、最高のモデルは標準設定で58.1%しか得点できない。
モデルはしばしば、間違った推論ステップを通じて、正しい最終回答に到達します。
論文 参考訳（メタデータ） (2024-01-13T03:18:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。