論文の概要: MATHWELL: Generating Educational Math Word Problems at Scale
- arxiv url: http://arxiv.org/abs/2402.15861v3
- Date: Fri, 1 Mar 2024 14:39:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-04 13:29:57.578472
- Title: MATHWELL: Generating Educational Math Word Problems at Scale
- Title(参考訳): MATHWELL: 教育用数学語を大規模に生成する
- Authors: Bryan R Christ, Jonathan Kropko, Thomas Hartvigsen
- Abstract要約: 教育を行うためには,(1)解決可能,(2)正確,(3)適切でなければならない。
我々は,専門家アノテーションから得られたデータを用いて,K-8数学語問題を生成するために繰り返し微調整されたLlama-2 (70B)モデルであるMATHWELLを紹介する。
MATHWELLを用いて、20,490個の問題を含むPoT(Program of Thought)論理を用いた最大英語単語問題データセットを生成する。
- 参考スコア(独自算出の注目度): 12.66360106561406
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Math word problems are critical K-8 educational tools, but writing them is
time-consuming and requires domain expertise. We suggest that language models
can support K-8 math education by automatically generating problems at scale.
To be educational, generated problems must be 1) solvable, 2) accurate, and 3)
appropriate. Existing datasets are unlabeled for these criteria, making them
ill-suited for training problem generators. We introduce MATHWELL, a Llama-2
(70B) model iteratively finetuned to generate K-8 math word problems using data
from expert annotation. Using MATHWELL, we generate the largest English word
problem dataset with Program of Thought (PoT) rationales to date, containing
20,490 problems. 3,484 are scored by domain experts who find MATHWELL has a 40%
higher share of problems that have executable solutions and meet all criteria
than alternatives, with 74% of its problems with executable solutions being
solvable, accurate, and appropriate. We release our model, data, and
annotations.
- Abstract(参考訳): 数学の単語問題は重要なK-8教育ツールであるが、それらを書くのに時間がかかり、ドメインの専門知識を必要とする。
我々は,K-8の数学教育を支援する言語モデルを提案する。
教育的であり 生み出す問題は
1)解決可能。
2)正確で,かつ
3) 適当。
既存のデータセットはこれらの基準にラベルを付けておらず、問題発生器のトレーニングに適していない。
我々は,専門家アノテーションから得られたデータを用いて,K-8数学語問題を生成するために繰り返し微調整されたLlama-2 (70B)モデルMATHWELLを紹介する。
MATHWELLを用いて、20,490個の問題を含むPoT(Program of Thought)論理を用いた最大英語単語問題データセットを生成する。
3.484 は、MATHWELL が実行可能解を持ち、代替案よりも全ての基準を満たす問題の割合が40%高く、実行可能解の74%が解決可能で正確で適切である、というドメインの専門家によって評価されている。
私たちはモデル、データ、アノテーションをリリースします。
関連論文リスト
- MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
大規模言語モデル(LLM)は問題解決において顕著な能力を示した。
しかし、数学的な問題を解く能力は依然として不十分である。
高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
論文 参考訳(メタデータ) (2024-03-05T11:42:59Z) - MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical
Reasoning [52.97768001837269]
本稿では,オープンソース言語モデルを微調整する手法を提案する。
本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。
このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
論文 参考訳(メタデータ) (2023-10-05T17:52:09Z) - ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving [170.7899683843177]
ToRAは、難解な数学的問題を解決するために設計されたツール統合推論エージェントのシリーズである。
ToRAモデルは、あらゆるスケールにわたる10の数学的推論データセットで、オープンソースモデルよりも大幅に優れています。
ToRA-Code-34Bは、MATHで50%を超える精度を達成する最初のオープンソースモデルである。
論文 参考訳(メタデータ) (2023-09-29T17:59:38Z) - MAmmoTH: Building Math Generalist Models through Hybrid Instruction
Tuning [60.208045804204076]
我々は,一般的な数学問題解決に適したオープンソースの大規模言語モデル(LLM)であるMAmmoTHを紹介する。
MAmmoTHモデルは、厳密にキュレートされた命令チューニングデータセットであるMathInstructでトレーニングされている。
論文 参考訳(メタデータ) (2023-09-11T17:47:22Z) - Explaining Math Word Problem Solvers [2.792030485253753]
本稿では,解を生成するために,数学用語の問題解決者が使用する情報について検討する。
本結果から,本モデルでは,入力から多くの単語を除去することには敏感ではないことが明らかとなった。
このことは、自動解法が数学語問題の意味論理に従わず、特定の単語の存在に過度に適合していることを示している。
論文 参考訳(メタデータ) (2023-07-24T21:05:47Z) - Solving Math Word Problems by Combining Language Models With Symbolic
Solvers [28.010617102877923]
大規模言語モデル(LLM)は複雑な推論と計算を行うために外部ツールと組み合わせることができる。
本稿では,変数と方程式の集合として単語問題を段階的に形式化するLLMと,外部記号解法を併用する手法を提案する。
提案手法は,GSM8Kベンチマークにおける元のPALに匹敵する精度を達成し,ALGEBRAでPALを絶対20%上回る性能を示した。
論文 参考訳(メタデータ) (2023-04-16T04:16:06Z) - UniGeo: Unifying Geometry Logical Reasoning via Reformulating
Mathematical Expression [127.68780714438103]
計算と証明の2つの主要な幾何学問題は、通常2つの特定のタスクとして扱われる。
我々は4,998の計算問題と9,543の証明問題を含むUniGeoという大規模統一幾何問題ベンチマークを構築した。
また,複数タスクの幾何変換フレームワークであるGeoformerを提案し,計算と証明を同時に行う。
論文 参考訳(メタデータ) (2022-12-06T04:37:51Z) - Tackling Math Word Problems with Fine-to-Coarse Abstracting and
Reasoning [22.127301797950572]
本稿では,局所的なきめ細かい情報と,その大域的な論理構造の両方を捉えるために,微粒な方法で数学語問題をモデル化することを提案する。
我々のモデルは局所的な変動に自然に敏感であり、目に見えない問題タイプにより良い一般化が可能である。
論文 参考訳(メタデータ) (2022-05-17T12:14:44Z) - Measuring Mathematical Problem Solving With the MATH Dataset [55.4376028963537]
12,500の競合数学問題のデータセットであるMATHを紹介する。
各問題には、答えの導出と説明を生成するためのモデルを教えるために使用できる完全なステップバイステップソリューションがあります。
また、モデルに数学の基礎を教えるための補助的事前学習データセットも提供します。
論文 参考訳(メタデータ) (2021-03-05T18:59:39Z) - Reverse Operation based Data Augmentation for Solving Math Word Problems [37.26159426631031]
最近のモデルはパフォーマンスボトルネックに達し、トレーニングのためにより高品質なデータを必要としている。
本稿では,数学用語問題の数学的論理を逆転する新しいデータ拡張法を提案する。
2つのSOTA数学単語問題解決モデルに拡張データを適用し、その結果を強力なデータ拡張ベースラインと比較する。
論文 参考訳(メタデータ) (2020-10-04T11:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。