論文の概要: Are NLP Models really able to Solve Simple Math Word Problems?

• arxiv url: http://arxiv.org/abs/2103.07191v1
• Date: Fri, 12 Mar 2021 10:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-15 13:26:02.967663
• Title: Are NLP Models really able to Solve Simple Math Word Problems?
• Title（参考訳）: NLPモデルは、単純な数学の単語問題を本当に解決できますか?
• Authors: Arkil Patel, Satwik Bhattamishra, Navin Goyal
• Abstract要約: MWP で質問された質問にアクセスできない MWP の解法は依然として MWP の大部分を解けることを示す。 既存のデータセットから抽出したサンプルに対して、慎重に選択されたバリエーションを適用して作成するチャレンジデータセットSVAMPを導入する。 最先端モデルによって達成される最高の精度はSVAMPよりも大幅に低いため、MWPの最も単純なモデルでも多くの処理が可能であることが示される。
• 参考スコア（独自算出の注目度）: 7.433931244705934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of designing NLP solvers for math word problems (MWP) has seen sustained research activity and steady gains in the test accuracy. Since existing solvers achieve high performance on the benchmark datasets for elementary level MWPs containing one-unknown arithmetic word problems, such problems are often considered "solved" with the bulk of research attention moving to more complex MWPs. In this paper, we restrict our attention to English MWPs taught in grades four and lower. We provide strong evidence that the existing MWP solvers rely on shallow heuristics to achieve high performance on the benchmark datasets. To this end, we show that MWP solvers that do not have access to the question asked in the MWP can still solve a large fraction of MWPs. Similarly, models that treat MWPs as bag-of-words can also achieve surprisingly high accuracy. Further, we introduce a challenge dataset, SVAMP, created by applying carefully chosen variations over examples sampled from existing datasets. The best accuracy achieved by state-of-the-art models is substantially lower on SVAMP, thus showing that much remains to be done even for the simplest of the MWPs.
• Abstract（参考訳）: 数学語問題 (MWP) のためのNLPソルバを設計する問題は, 研究活動が継続し, 試験精度が着実に向上した。 既存の解法は1つの未知の算術語問題を含む初等レベルのMWPのベンチマークデータセットで高い性能を達成しているため、そのような問題はより複雑なMWPに注目が集まる中で「解決」されることが多い。 本論文では,4年生以下の英語MWPに注意を向ける。 既存のMWPソルバは、ベンチマークデータセット上で高い性能を達成するために、浅いヒューリスティックに依存しているという強い証拠を提供する。 この結果から,MWP で質問された質問にアクセスできない MWP の解法は,依然として少数の MWP を解くことができることを示す。 同様に、mwpを単語の袋として扱うモデルも驚くほど高い精度を達成できる。 さらに,既存のデータセットからサンプルしたサンプルに対して,慎重に選択したバリエーションを適用して作成するチャレンジデータセットsvampを紹介する。 最先端モデルによって達成される最高の精度はSVAMPよりも大幅に低いため、MWPの最も単純なモデルでも多くの処理が可能であることが示される。

関連論文リスト

• Cutting Through the Noise: Boosting LLM Performance on Math Word Problems [52.99006895757801]
  大規模言語モデルは数学用語の問題を解くのに優れるが、無関係な情報を含む現実世界の問題に苦戦する。 本稿では,無関係な変数を追加することで,MWPの逆変分を生成するプロンプトフレームワークを提案する。 敵の訓練インスタンスの微調整は、敵のMWPのパフォーマンスを8%向上させる。
  論文  参考訳（メタデータ） (2024-05-30T18:07:13Z)
• MWPRanker: An Expression Similarity Based Math Word Problem Retriever [12.638925774492403]
  オンラインアセスメントにおける数学語問題(MWP)は、学習者が重要な推論を行う能力をテストするのに役立つ。 本稿では,MWP検索のためのツールを提案する。
  論文  参考訳（メタデータ） (2023-07-03T15:44:18Z)
• LogicSolver: Towards Interpretable Math Word Problem Solving with Logical Prompt-enhanced Learning [135.8654475934613]
  我々はまず,11,495MWPからなる高品質MWPデータセットInterMWPを構築した。 本稿では論理的プロンプトと解釈を用いた新しい手法であるLogicrを提案する。 これらの改良されたセマンティック表現により、我々のLogicrは、生成された解表現に従って対応する解表現と解釈可能な知識を生成する。
  論文  参考訳（メタデータ） (2022-05-17T11:01:52Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• Adversarial Examples for Evaluating Math Word Problem Solvers [4.266990593059533]
  MWP(Math Word Problem)は、ベンチマークデータセット上で高い性能を達成している。 既存のMWPソルバが言語を真に理解している範囲と数との関係はいまだ不明である。 我々は、最先端のMWPソルバの堅牢性を評価するために、敵攻撃を生成する。
  論文  参考訳（メタデータ） (2021-09-13T12:47:40Z)
• Generate & Rank: A Multi-task Framework for Math Word Problems [48.99880318686938]
  数学語問題(MWP)は自然言語処理において困難かつ重要な課題である。 生成事前学習型言語モデルに基づくフレームワークであるGenerate & Rankを提案する。 生成とランキングの併用トレーニングによって、モデルは自身のミスから学習し、正しい表現と間違った表現を区別することができる。
  論文  参考訳（メタデータ） (2021-09-07T12:21:49Z)
• MWPToolkit: An Open-Source Framework for Deep Learning-Based Math Word Problem Solvers [29.611442087779896]
  MWPToolkitはMath Word Problem (MWP)を解くための最初のオープンソースフレームワークである。 広範に使用されている4つの単一方程式生成ベンチマークと2つの複数方程式生成ベンチマークに対して、17 MWPソルバを実装し比較する。
  論文  参考訳（メタデータ） (2021-09-02T09:18:09Z)
• MWP-BERT: A Strong Baseline for Math Word Problems [47.51572465676904]
  数学語問題(英: Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。 近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。 我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
  論文  参考訳（メタデータ） (2021-07-28T15:28:41Z)
• Semantically-Aligned Universal Tree-Structured Solver for Math Word Problems [129.90766822085132]
  実用的自動テキスト数学語問題(MWP)は,様々なテキストMWPを解くことができる。 MWPの方程式を一様に表現する最初の試みとして,Universal Expression Tree (UET) を提案する。 次に,エンコーダ・デコーダ・フレームワークに基づく意味的に整合した普遍木構造解法 (SAU-r) を提案し,複数のMWPを統一モデルで解く。
  論文  参考訳（メタデータ） (2020-10-14T06:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。