論文の概要: A Diverse Corpus for Evaluating and Developing English Math Word Problem
Solvers
- arxiv url: http://arxiv.org/abs/2106.15772v1
- Date: Wed, 30 Jun 2021 01:54:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-02 01:14:00.010382
- Title: A Diverse Corpus for Evaluating and Developing English Math Word Problem
Solvers
- Title（参考訳）: 英単語問題解法の評価・開発のための多言語コーパス
- Authors: Shen-Yun Miao, Chao-Chun Liang, Keh-Yih Su
- Abstract要約: 本稿では,多種多様(言語パターンと問題型の両方)の英算語問題 (MWP) コーパスについて述べる。
AIの進歩を研究するための既存のMWPコーパスは、言語の使用パターンや問題タイプに制限されている。
そこで本研究では,2,305 MWP を用いた英語 MWP コーパスを提案する。
- 参考スコア（独自算出の注目度）: 10.244215079409797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present ASDiv (Academia Sinica Diverse MWP Dataset), a diverse (in terms
of both language patterns and problem types) English math word problem (MWP)
corpus for evaluating the capability of various MWP solvers. Existing MWP
corpora for studying AI progress remain limited either in language usage
patterns or in problem types. We thus present a new English MWP corpus with
2,305 MWPs that cover more text patterns and most problem types taught in
elementary school. Each MWP is annotated with its problem type and grade level
(for indicating the level of difficulty). Furthermore, we propose a metric to
measure the lexicon usage diversity of a given MWP corpus, and demonstrate that
ASDiv is more diverse than existing corpora. Experiments show that our proposed
corpus reflects the true capability of MWP solvers more faithfully.
- Abstract（参考訳）: ASDiv(Academia Sinica Diverse MWP Dataset)は、様々なMWP解法の性能を評価するために、多種多様な(言語パターンと問題型の両方の観点から)英語の数学語問題(MWP)コーパスを提供する。
AIの進歩を研究するための既存のMWPコーパスは、言語の使用パターンや問題タイプに制限されている。
そこで,本研究では,小学校で教えられたテキストパターンと問題型を多く含む2,305個のmwpを用いた新しい英語mwpコーパスを提案する。
各MWPには、その問題タイプとグレードレベル(難易度を示すため)が注釈付けされている。
さらに, 与えられたMWPコーパスのレキシコン使用量の多様性を測定する指標を提案し, ASDivが既存のコーパスよりも多様であることを実証した。
実験の結果,提案コーパスはMWPソルバの真の性能をより忠実に反映していることがわかった。
関連論文リスト
- Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。
本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。
敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
論文 参考訳（メタデータ） (2024-05-30T18:07:13Z) - What Makes Math Word Problems Challenging for LLMs? [5.153388971862429]
数学語問題(MWP)の重要な言語的・数学的特徴を詳細に分析する。
大型言語モデル(LLM)におけるMWPの全体的な難しさに対する各特徴の影響をよりよく理解するために、特徴ベースの分類器を訓練する。
論文 参考訳（メタデータ） (2024-03-17T23:18:40Z) - Benchmarking Hallucination in Large Language Models based on
Unanswerable Math Word Problem [58.3723958800254]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて非常に効果的である。
それらは幻覚と呼ばれる曖昧な文脈で信頼できない予想を生じさせる可能性がある。
本稿では,不問答語問題(MWP)に基づく質問回答(QA)におけるLLM幻覚評価手法を提案する。
論文 参考訳（メタデータ） (2024-03-06T09:06:34Z) - MWPRanker: An Expression Similarity Based Math Word Problem Retriever [12.638925774492403]
オンラインアセスメントにおける数学語問題(MWP)は、学習者が重要な推論を行う能力をテストするのに役立つ。
本稿では,MWP検索のためのツールを提案する。
論文 参考訳（メタデータ） (2023-07-03T15:44:18Z) - Analogical Math Word Problems Solving with Enhanced Problem-Solution
Association [37.70402758178867]
本稿では,アナログMWPを利用した新しいMWP解法を提案する。
アナロジー同定と呼ばれる鍵となるアイデアは、アナログMWP対を潜在空間で関連付けることである。
解判別器はMWPソルバに統合され、MWPの表現と真の解との関連性を高める。
論文 参考訳（メタデータ） (2022-12-01T19:50:30Z) - Generalizing Math Word Problem Solvers via Solution Diversification [56.2690023011738]
我々は,解バッファと解判別器を導入することで,MWPソルバの新しいトレーニングフレームワークを設計する。
本フレームワークは,全Seq2Seq MWPソルバの完全・半弱・弱教師付きトレーニングに柔軟に適用可能である。
論文 参考訳（メタデータ） (2022-12-01T19:34:58Z) - Adversarial Examples for Evaluating Math Word Problem Solvers [4.266990593059533]
MWP(Math Word Problem)は、ベンチマークデータセット上で高い性能を達成している。
既存のMWPソルバが言語を真に理解している範囲と数との関係はいまだ不明である。
我々は、最先端のMWPソルバの堅牢性を評価するために、敵攻撃を生成する。
論文 参考訳（メタデータ） (2021-09-13T12:47:40Z) - Math Word Problem Generation with Mathematical Consistency and Problem
Context Constraints [37.493809561634386]
算数方程式を与えられた算術演算語問題(MWP)を生成する問題について検討する。
既存のアプローチは、数学的に無効あるいは不満足な言語品質を持つMWPを生成する傾向がある。
論文 参考訳（メタデータ） (2021-09-09T20:24:25Z) - Generate & Rank: A Multi-task Framework for Math Word Problems [48.99880318686938]
数学語問題(MWP)は自然言語処理において困難かつ重要な課題である。
生成事前学習型言語モデルに基づくフレームワークであるGenerate & Rankを提案する。
生成とランキングの併用トレーニングによって、モデルは自身のミスから学習し、正しい表現と間違った表現を区別することができる。
論文 参考訳（メタデータ） (2021-09-07T12:21:49Z) - MWP-BERT: A Strong Baseline for Math Word Problems [47.51572465676904]
数学語問題(英: Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。
近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。
我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
論文 参考訳（メタデータ） (2021-07-28T15:28:41Z) - Semantically-Aligned Universal Tree-Structured Solver for Math Word
Problems [129.90766822085132]
実用的自動テキスト数学語問題(MWP)は,様々なテキストMWPを解くことができる。
MWPの方程式を一様に表現する最初の試みとして,Universal Expression Tree (UET) を提案する。
次に,エンコーダ・デコーダ・フレームワークに基づく意味的に整合した普遍木構造解法 (SAU-r) を提案し,複数のMWPを統一モデルで解く。
論文 参考訳（メタデータ） (2020-10-14T06:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。