論文の概要: Generate & Rank: A Multi-task Framework for Math Word Problems

• arxiv url: http://arxiv.org/abs/2109.03034v1
• Date: Tue, 7 Sep 2021 12:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-08 14:51:42.979525
• Title: Generate & Rank: A Multi-task Framework for Math Word Problems
• Title（参考訳）: Generate & Rank: 数学語問題のためのマルチタスクフレームワーク
• Authors: Jianhao Shen, Yichun Yin, Lin Li, Lifeng Shang, Xin Jiang, Ming Zhang, Qun Liu
• Abstract要約: 数学語問題(MWP)は自然言語処理において困難かつ重要な課題である。 生成事前学習型言語モデルに基づくフレームワークであるGenerate & Rankを提案する。 生成とランキングの併用トレーニングによって、モデルは自身のミスから学習し、正しい表現と間違った表現を区別することができる。
• 参考スコア（独自算出の注目度）: 48.99880318686938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Math word problem (MWP) is a challenging and critical task in natural language processing. Many recent studies formalize MWP as a generation task and have adopted sequence-to-sequence models to transform problem descriptions to mathematical expressions. However, mathematical expressions are prone to minor mistakes while the generation objective does not explicitly handle such mistakes. To address this limitation, we devise a new ranking task for MWP and propose Generate & Rank, a multi-task framework based on a generative pre-trained language model. By joint training with generation and ranking, the model learns from its own mistakes and is able to distinguish between correct and incorrect expressions. Meanwhile, we perform tree-based disturbance specially designed for MWP and an online update to boost the ranker. We demonstrate the effectiveness of our proposed method on the benchmark and the results show that our method consistently outperforms baselines in all datasets. Particularly, in the classical Math23k, our method is 7% (78.4% $\rightarrow$ 85.4%) higher than the state-of-the-art.
• Abstract（参考訳）: 数学語問題(MWP)は自然言語処理において困難かつ重要な課題である。 近年の多くの研究はMWPを生成タスクとして定式化し、問題記述を数学的表現に変換するためにシーケンス・ツー・シーケンスモデルを採用した。 しかし、数学的表現は小さな誤りを生じやすいが、生成対象はこれらの誤りを明示的に処理しない。 この制限に対処するため、MWPの新しいランキングタスクを考案し、生成事前学習言語モデルに基づくマルチタスクフレームワークであるGenerate & Rankを提案する。 生成とランキングの併用トレーニングによって、モデルは自身のミスから学習し、正しい表現と間違った表現を区別することができる。 一方、MWP用に特別に設計された木に基づく乱れと、ランク付けを強化するためのオンライン更新を行う。 提案手法の有効性をベンチマークで示し,本手法が全データセットのベースラインを一貫して上回っていることを示す。 特に古典的Math23kでは、我々の手法は最先端よりも7%(78.4%$\rightarrow$85.4%)高い。

関連論文リスト

• NeKo: Toward Post Recognition Generative Correction Large Language Models with Task-Oriented Experts [57.53692236201343]
  提案するマルチタスク補正MOEでは,専門家が音声・テキスト・言語・テキスト・視覚・テキスト・データセットの「専門家」になるよう訓練する。 NeKoはマルチタスクモデルとして文法とポストOCR補正を競合的に実行している。
  論文  参考訳（メタデータ） (2024-11-08T20:11:24Z)
• Solving Math Word Problems with Reexamination [27.80592576792461]
  モデルに依存しない擬似双対学習手法を提案する。 擬似双対タスクは、表現中の数字を元の単語問題に記入し、数字をマスクするものとして特に定義される。 提案手法は,複数の代表MWPソルバを実証実験により適用した場合に有効であることが確認された。
  論文  参考訳（メタデータ） (2023-10-14T14:23:44Z)
• MWPRanker: An Expression Similarity Based Math Word Problem Retriever [12.638925774492403]
  オンラインアセスメントにおける数学語問題(MWP)は、学習者が重要な推論を行う能力をテストするのに役立つ。 本稿では,MWP検索のためのツールを提案する。
  論文  参考訳（メタデータ） (2023-07-03T15:44:18Z)
• Math Word Problem Solving by Generating Linguistic Variants of Problem Statements [1.742186232261139]
  本稿では,問題テキストの言語的変種生成に基づくMWP問題解決のためのフレームワークを提案する。 このアプローチでは、各変種問題を解決し、予測された表現を過半数の票で選択する。 本稿では,問題文の言語的変種に関するトレーニングと候補予測による投票により,モデルの数学的推論やロバスト性が改善されることを示す。
  論文  参考訳（メタデータ） (2023-06-24T08:27:39Z)
• Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
  思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。 本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。 3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-05-29T16:01:40Z)
• Dynamic Prompt Learning via Policy Gradient for Semi-structured Mathematical Reasoning [150.17907456113537]
  数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。 我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。 本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
  論文  参考訳（メタデータ） (2022-09-29T08:01:04Z)
• Unbiased Math Word Problems Benchmark for Mitigating Solving Bias [72.8677805114825]
  現在の問題解決者は、バイアス付きデータセットと不適切なトレーニング戦略によるデータバイアスと学習バイアスからなるバイアスを解決している。 実験により,MWP の解法は,すべての MWP の問題を多種多様な質問をカバーしないバイアス付きトレーニングデータセットにより容易にバイアスを受けられることを確認した。 MWPは複数の等価方程式によって自然に解けるが、現在のデータセットは1つの等価方程式のみを基底真理とする。
  論文  参考訳（メタデータ） (2022-05-17T06:07:04Z)
• Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation [86.26522210882699]
  視覚言語理解と生成のための統一型マルチモーダル事前学習を提案する。 提案したUniVLは、理解タスクと生成タスクの両方を扱うことができる。 実験の結果,同じモデルを用いた場合,理解タスクと生成タスクとの間にはトレードオフがあることが判明した。
  論文  参考訳（メタデータ） (2021-12-10T14:59:06Z)
• Math Word Problem Generation with Mathematical Consistency and Problem Context Constraints [37.493809561634386]
  算数方程式を与えられた算術演算語問題(MWP)を生成する問題について検討する。 既存のアプローチは、数学的に無効あるいは不満足な言語品質を持つMWPを生成する傾向がある。
  論文  参考訳（メタデータ） (2021-09-09T20:24:25Z)
• MWP-BERT: A Strong Baseline for Math Word Problems [47.51572465676904]
  数学語問題(英: Math word problem、MWP)とは、自然言語による問題記述の列を、実行可能な数学方程式に変換するタスクである。 近年, MWP の逐次モデル化は, 文脈理解の数学的側面から評価されているが, 事前学習言語モデル (PLM) はMWP の解法として研究されていない。 我々はMWP-BERTを導入し、テキスト記述と数理論理の整合性を捉える事前訓練されたトークン表現を得る。
  論文  参考訳（メタデータ） (2021-07-28T15:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。