論文の概要: How well do Large Language Models perform in Arithmetic tasks?
- arxiv url: http://arxiv.org/abs/2304.02015v1
- Date: Thu, 16 Mar 2023 09:28:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-09 05:37:05.744596
- Title: How well do Large Language Models perform in Arithmetic tasks?
- Title（参考訳）: 大規模言語モデルは算術タスクでどれくらいうまく機能するのか?
- Authors: Zheng Yuan, Hongyi Yuan, Chuanqi Tan, Wei Wang, Songfang Huang
- Abstract要約: 数学の単語問題に段階的に答えるチェーンオブ思考を含む、大きな言語モデルが出現した。
我々の知る限りでは、大規模言語モデルの算術能力を評価することに注力する作業はない。
本研究では,最新の大規模言語モデルをテストするための算術データセットMATH 401を提案する。
- 参考スコア（独自算出の注目度）: 25.638682874990206
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models have emerged abilities including chain-of-thought to
answer math word problems step by step. Solving math word problems not only
requires abilities to disassemble problems via chain-of-thought but also needs
to calculate arithmetic expressions correctly for each step. To the best of our
knowledge, there is no work to focus on evaluating the arithmetic ability of
large language models. In this work, we propose an arithmetic dataset MATH 401
to test the latest large language models including GPT-4, ChatGPT, InstrctGPT,
Galactica, and LLaMA with various arithmetic expressions and provide a detailed
analysis of the ability of large language models. MATH 401 and evaluation codes
are released at \url{https://github.com/GanjinZero/math401-llm}.
- Abstract（参考訳）: 数学の単語問題に段階的に答えるチェーンオブ思考を含む、大きな言語モデルが出現した。
数学用語の問題を解くには、チェーン・オブ・シントを介して問題を分解する能力だけでなく、各ステップの算術式を正しく計算する必要がある。
私たちの知る限りでは、大きな言語モデルの算術能力を評価することに注力する作業はありません。
本稿では,gpt-4, chatgpt, instrctgpt, galactica, llamaを含む最新の大規模言語モデルに対して,様々な算術式を用いた算術データセット math 401 を提案し,大規模言語モデルの能力の詳細な解析を行う。
MATH 401と評価コードは \url{https://github.com/GanjinZero/math401-llm} でリリースされている。
関連論文リスト
- Lean Workbook: A large-scale Lean problem set formalized from natural language math problems [50.22847430754973]
大規模な言語モデルは、リーンのような形式言語を使って証明する数学の定理が得意ではありません。
この領域で重要な課題は、これらの形式言語で利用可能なトレーニングデータの不足である。
本稿では,自然言語の数学的問題をリーン4文に変換するために,合成データを反復的に生成・フィルタリングするパイプラインを提案する。
論文 参考訳（メタデータ） (2024-06-06T08:25:43Z) - OccamLLM: Fast and Exact Language Model Arithmetic in a Single Step [7.7168728919692855]
本稿では,1つの自己回帰的なステップで正確な算術を可能にするフレームワークを提案する。
我々は LLM の隠蔽状態を用いて演算を行う記号的アーキテクチャを制御する。
シンボルモデル(OccamLlama)としてOccamNetを用いたLlama 3の実装は,1つの算術演算において100%の精度を実現する。
論文 参考訳（メタデータ） (2024-06-04T04:17:40Z) - MathScale: Scaling Instruction Tuning for Mathematical Reasoning [70.89605383298331]
大規模言語モデル(LLM)は問題解決において顕著な能力を示した。
しかし、数学的な問題を解く能力は依然として不十分である。
高品質な数学的推論データを作成するためのシンプルでスケーラブルな方法であるMathScaleを提案する。
論文 参考訳（メタデータ） (2024-03-05T11:42:59Z) - MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical
Reasoning [52.97768001837269]
本稿では,オープンソース言語モデルを微調整する手法を提案する。
本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。
このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
論文 参考訳（メタデータ） (2023-10-05T17:52:09Z) - MetaMath: Bootstrap Your Own Mathematical Questions for Large Language Models [91.66694225955872]
数学的推論を専門とする微調整言語モデルであるMetaMathを提案する。
具体的には、余分な知識を伴わずに複数の視点から質問を書き換えることで、数学的質問をブートストラップすることから始める。
私たちは、すべてのMetaMathQAデータセット、異なるモデルサイズを持つMetaMathモデル、パブリック使用のためのトレーニングコードをリリースします。
論文 参考訳（メタデータ） (2023-09-21T17:45:42Z) - GPT Can Solve Mathematical Problems Without a Calculator [24.114064917059565]
大規模言語モデルでは,データ漏洩を伴わずに,ほぼ100%の精度で算術演算を正確に行うことができることを示す。
また、GLM-10Bから微調整した我々のMathGLMは、5000サンプルの中国の数学問題テストセットにおいて、GPT-4と同様の性能を発揮することを示した。
論文 参考訳（メタデータ） (2023-09-06T06:18:16Z) - WizardMath: Empowering Mathematical Reasoning for Large Language Models
via Reinforced Evol-Instruct [128.89645483139236]
本稿では,Llama-2の数学的推論能力を向上するWizardMathを提案する。
GSM8kではChatGPT-3.5, Claude Instant-1, PaLM-2, Minervaを上回り, 同時にMATHでは Text-davinci, PaLM-1, GPT-3 を上回ります。
論文 参考訳（メタデータ） (2023-08-18T14:23:21Z) - MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。
MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
論文 参考訳（メタデータ） (2023-03-04T04:43:49Z) - PAL: Program-aided Language Models [112.94785609781503]
自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。
PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。
私たちは12のベンチマークで新しい最先端の結果を設定しました。
論文 参考訳（メタデータ） (2022-11-18T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。