論文の概要: A Careful Examination of Large Language Model Performance on Grade School Arithmetic

• arxiv url: http://arxiv.org/abs/2405.00332v3
• Date: Fri, 3 May 2024 17:53:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 11:57:06.909092
• Title: A Careful Examination of Large Language Model Performance on Grade School Arithmetic
• Title（参考訳）: 小学校算数科における大規模言語モデルの性能に関する注意深い検討
• Authors: Hugh Zhang, Jeff Da, Dean Lee, Vaughn Robinson, Catherine Wu, Will Song, Tiffany Zhao, Pranav Raja, Dylan Slack, Qin Lyu, Sean Hendryx, Russell Kaplan, Michele Lunati, Summer Yue,
• Abstract要約: 大規模言語モデル (LLM) は、数学的推論のための多くのベンチマークで驚くべき成功を収めた。 このパフォーマンスの一部は、実際にデータセットの汚染を反映している、という懸念が高まっている。
• 参考スコア（独自算出の注目度）: 4.667380916143971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved impressive success on many benchmarks for mathematical reasoning. However, there is growing concern that some of this performance actually reflects dataset contamination, where data closely resembling benchmark questions leaks into the training data, instead of true reasoning ability. To investigate this claim rigorously, we commission Grade School Math 1000 (GSM1k). GSM1k is designed to mirror the style and complexity of the established GSM8k benchmark, the gold standard for measuring elementary mathematical reasoning. We ensure that the two benchmarks are comparable across important metrics such as human solve rates, number of steps in solution, answer magnitude, and more. When evaluating leading open- and closed-source LLMs on GSM1k, we observe accuracy drops of up to 13%, with several families of models (e.g., Phi and Mistral) showing evidence of systematic overfitting across almost all model sizes. At the same time, many models, especially those on the frontier, (e.g., Gemini/GPT/Claude) show minimal signs of overfitting. Further analysis suggests a positive relationship (Spearman's r^2=0.32) between a model's probability of generating an example from GSM8k and its performance gap between GSM8k and GSM1k, suggesting that many models may have partially memorized GSM8k.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、数学的推論のための多くのベンチマークで驚くべき成功を収めた。 しかし、このパフォーマンスのいくつかは実際にデータセットの汚染を反映しているという懸念が高まっており、ベンチマークによく似たデータが真の推論能力ではなく、トレーニングデータに漏れ込む。 この主張を厳格に調査するために、小学校数学1000(GSM1k)を委託する。 GSM1kは、基本的な数学的推論を測定するための金の標準である確立されたGSM8kベンチマークのスタイルと複雑さを反映するように設計されている。 2つのベンチマークは、人間の解決率、ソリューションのステップ数、回答の規模など、重要な指標に匹敵するものであることを保証します。 GSM1k上でのオープンおよびクローズドソースLCMの評価では、最大13%の精度低下を観測し、いくつかのモデルのファミリー(例えば、Phi、Mistral)は、ほぼすべてのモデルサイズに体系的にオーバーフィットする証拠を示している。 同時に、多くのモデル、特にフロンティアのモデル(例えば、Gemini/GPT/Claude)は、オーバーフィッティングの兆候を最小限に示している。 さらなる分析では、モデルが GSM8k からサンプルを生成する確率と GSM8k と GSM1k のパフォーマンスギャップとの間の正の関係(スピアマンの r^2=0.32)が示唆され、多くのモデルが部分的に GSM8k を記憶している可能性が示唆されている。

関連論文リスト

• GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models [24.266973481633755]
  GSM8Kベンチマークは、小学校レベルの質問に対するモデルの数学的推論を評価するために広く使われている。 GSM-Symbolicは、シンボリックテンプレートから生成された改良されたベンチマークである。 以上の結果から,LLMは同一質問の異なるインスタンス化に応答する際,顕著なばらつきを示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-07T17:36:37Z)
• Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
  本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。 拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
  論文  参考訳（メタデータ） (2024-03-07T18:00:40Z)
• Chain-of-Thought Unfaithfulness as Disguised Accuracy [0.0]
  CoT(Chain-of-Thought)世代は、大きな言語モデルの内部計算(LLM)と一致している。 モデルが回答を生成するためのCoTへの依存度を測定する指標を提案する。
  論文  参考訳（メタデータ） (2024-02-22T17:23:53Z)
• Orca-Math: Unlocking the potential of SLMs in Grade School Math [10.206509967833664]
  最近の研究では、GSM8Kベンチマークで80%以上の精度を達成するために必要な最小のモデルサイズは、34億のパラメータであると仮定されている。 より小さなモデルでこのレベルのパフォーマンスを達成するために、研究者はしばしばSLMを使ってPythonコードを生成するか、計算エラーを避けるツールを使用する。 エージェントが協調してデータを作成するマルチエージェントセットアップを使用して、200Kの数学問題の高品質な合成データセットを作成する。
  論文  参考訳（メタデータ） (2024-02-16T23:44:38Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• TinyGSM: achieving >80% on GSM8k with small language models [49.21136294791747]
  小型モデルは様々な計算上の利点を提供するが、どの程度の大きさが問題解決能力にとって重要なのかは未解決のままである。 特に小学校の数学を解くために、GSM8Kベンチマークの80%の障壁を破るために必要なモデルサイズは、まだ34Bである。 我々の研究は、数学的な推論を得るための小さな言語モデルにとって、高品質なデータセットがどのように鍵となるかを研究する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:28Z)
• MuggleMath: Assessing the Impact of Query and Response Augmentation on Math Reasoning [54.2093509928664]
  大規模言語モデルを用いた数学推論では、クエリの進化と多様な推論経路による微調整データ拡張が実験的に有効である。 本研究では,数理推論におけるそのようなデータ拡張に関する調査を行い,これらの疑問に答えることを意図している。 コードと拡張データはhttps://github.com/OFA-Sys/8k-Scel.comで公開しています。
  論文  参考訳（メタデータ） (2023-10-09T08:18:58Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)
• Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
  本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。 MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。 言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
  論文  参考訳（メタデータ） (2022-10-06T17:03:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。