論文の概要: Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
- arxiv url: http://arxiv.org/abs/2404.03938v1
- Date: Fri, 5 Apr 2024 07:57:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 16:44:14.954829
- Title: Data Augmentation with In-Context Learning and Comparative Evaluation in Math Word Problem Solving
- Title（参考訳）: 単語問題解法における文脈内学習によるデータ強化と比較評価
- Authors: Gulsum Yigit, Mehmet Fatih Amasyali,
- Abstract要約: 本研究の目的は,MWPソルバにより多様なトレーニングセットを提供することであり,最終的には様々な数学問題を解く能力を向上させることである。
本稿では,同義語置換法,ルールベース:質問置換法,ルールベース:質問方法論を逆転させるような問題テキストや方程式を変更することで,データ拡張のためのいくつかの手法を提案する。
本研究は,Llama-7b言語モデルを用いて,新しい文脈内学習拡張手法を導入することで拡張する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Math Word Problem (MWP) solving presents a challenging task in Natural Language Processing (NLP). This study aims to provide MWP solvers with a more diverse training set, ultimately improving their ability to solve various math problems. We propose several methods for data augmentation by modifying the problem texts and equations, such as synonym replacement, rule-based: question replacement, and rule based: reversing question methodologies over two English MWP datasets. This study extends by introducing a new in-context learning augmentation method, employing the Llama-7b language model. This approach involves instruction-based prompting for rephrasing the math problem texts. Performance evaluations are conducted on 9 baseline models, revealing that augmentation methods outperform baseline models. Moreover, concatenating examples generated by various augmentation methods further improves performance.
- Abstract（参考訳）: 数学語問題(MWP)は自然言語処理(NLP)における課題である。
本研究の目的は,MWPソルバにより多様なトレーニングセットを提供することであり,最終的には様々な数学問題を解く能力を向上させることである。
本稿では,同義語置換,ルールベース:質問置換,ルールベース:2つの英語MWPデータセット上での質問手法の反転など,問題テキストや方程式を変更することで,データ拡張のためのいくつかの手法を提案する。
本研究は,Llama-7b言語モデルを用いて,新しい文脈内学習拡張手法を導入することで拡張する。
このアプローチでは、数学問題テキストの書き直しを命令ベースのプロンプトで行う。
9つのベースラインモデルで性能評価を行い、拡張法がベースラインモデルより優れていることを示した。
さらに、様々な拡張手法によって生成された例の連結により、さらに性能が向上する。
関連論文リスト
- Learning by Analogy: Enhancing Few-Shot Prompting for Math Word Problem Solving with Computational Graph-Based Retrieval [22.865124583257987]
同様に構造化された質問の類似性によって,大規模言語モデルの問題解決能力が向上することを示す。
具体的には、与えられた質問に類似した計算グラフを持つ問題の検索を頼りに、プロンプトの見本として機能する。
6つの数学単語問題データセットに対する実験結果から,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-11-25T15:01:25Z) - Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。
反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。
GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文 参考訳（メタデータ） (2024-10-11T23:29:20Z) - SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。
英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
論文 参考訳（メタデータ） (2024-08-28T06:33:03Z) - MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。
推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。
Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文 参考訳（メタデータ） (2024-05-25T15:07:33Z) - From Large to Tiny: Distilling and Refining Mathematical Expertise for Math Word Problems with Weakly Supervision [12.023661884821554]
本稿では,大規模言語モデルから小型言語モデルへの数学的知識の伝達を徹底的に行う,革新的な2段階のフレームワークを提案する。
提案手法は,探索型'確率方程式'ペアにおける意味理解機能を完全に活用する。
Math23KとWeak12Kデータセットでは、既存の小さなモデルメソッドと比較して大幅にパフォーマンスが向上している。
論文 参考訳（メタデータ） (2024-03-21T13:29:54Z) - Solving Math Word Problems with Reexamination [27.80592576792461]
モデルに依存しない擬似双対学習手法を提案する。
擬似双対タスクは、表現中の数字を元の単語問題に記入し、数字をマスクするものとして特に定義される。
提案手法は,複数の代表MWPソルバを実証実験により適用した場合に有効であることが確認された。
論文 参考訳（メタデータ） (2023-10-14T14:23:44Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Math Word Problem Solving by Generating Linguistic Variants of Problem
Statements [1.742186232261139]
本稿では,問題テキストの言語的変種生成に基づくMWP問題解決のためのフレームワークを提案する。
このアプローチでは、各変種問題を解決し、予測された表現を過半数の票で選択する。
本稿では,問題文の言語的変種に関するトレーニングと候補予測による投票により,モデルの数学的推論やロバスト性が改善されることを示す。
論文 参考訳（メタデータ） (2023-06-24T08:27:39Z) - Leveraging Training Data in Few-Shot Prompting for Numerical Reasoning [10.889271604723312]
思考の連鎖(CoT)は、多くの自然言語処理タスクで有効であることが証明されている。
本研究では, 動的プログラム・プロンプトとプログラム蒸留という, 数発のプロンプトシナリオにおいて, トレーニングデータを活用するための2つの手法について検討する。
3つの標準数学語問題(MWP)データセットに関する実験により,これらの手法の有効性を実証した。
論文 参考訳（メタデータ） (2023-05-29T16:01:40Z) - Improving Meta-learning for Low-resource Text Classification and
Generation via Memory Imitation [87.98063273826702]
本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。
本手法の有効性を証明するために理論的解析を行った。
論文 参考訳（メタデータ） (2022-03-22T12:41:55Z) - Generate & Rank: A Multi-task Framework for Math Word Problems [48.99880318686938]
数学語問題(MWP)は自然言語処理において困難かつ重要な課題である。
生成事前学習型言語モデルに基づくフレームワークであるGenerate & Rankを提案する。
生成とランキングの併用トレーニングによって、モデルは自身のミスから学習し、正しい表現と間違った表現を区別することができる。
論文 参考訳（メタデータ） (2021-09-07T12:21:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。