論文の概要: ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2410.19056v1
• Date: Thu, 24 Oct 2024 18:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:51.834121
• Title: ReasonAgain: Using Extractable Symbolic Programs to Evaluate Mathematical Reasoning
• Title（参考訳）: ReasonAgain:Mathematical Reasoningの評価に抽出可能なシンボリックプログラムを使う
• Authors: Xiaodong Yu, Ben Zhou, Hao Cheng, Dan Roth,
• Abstract要約: 既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。 モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合、シンボルプログラムを自動評価の手段として利用したいと考えている。 提案手法は, 従来の静的な例と比較して, 精度の低下を観測し, 現状のLLMにおける数学推論の脆弱さを示唆する。
• 参考スコア（独自算出の注目度）: 54.70811660561151
• License:
• Abstract: Existing math datasets evaluate the reasoning abilities of large language models (LLMs) by either using the final answer or the intermediate reasoning steps derived from static examples. However, the former approach fails to surface model's uses of shortcuts and wrong reasoning while the later poses challenges in accommodating alternative solutions. In this work, we seek to use symbolic programs as a means for automated evaluation if a model can consistently produce correct final answers across various inputs to the program. We begin by extracting programs for popular math datasets (GSM8K and MATH) using GPT4-o. For those executable programs verified using the original input-output pairs, they are found to encapsulate the proper reasoning required to solve the original text questions. We then prompt GPT4-o to generate new questions using alternative input-output pairs based the extracted program. We apply the resulting datasets to evaluate a collection of LLMs. In our experiments, we observe significant accuracy drops using our proposed evaluation compared with original static examples, suggesting the fragility of math reasoning in state-of-the-art LLMs.
• Abstract（参考訳）: 既存の数学データセットは、最終回答または静的例から派生した中間推論ステップを用いて、大規模言語モデル(LLM)の推論能力を評価する。 しかし、前者のアプローチでは、モデルがショートカットと間違った推論を使用するのに失敗し、後者は代替ソリューションの調整に挑戦する。 本研究は,モデルがプログラムへの様々な入力に対して常に正しい最終回答を生成できる場合,シンボルプログラムを自動評価の手段として利用することを目的とする。 まず、GPT4-oを用いて、一般的な数学データセット(GSM8KとMATH)のプログラムを抽出する。 元のインプット・アウトプット・ペアを用いて検証された実行可能プログラムに対して、元のテキストの問題を解くのに必要な適切な推論をカプセル化する。 次に,GPT4-oに対して,抽出したプログラムに基づいて,代替の入出力ペアを用いて新たな質問を生成する。 得られたデータセットをLLMのコレクション評価に適用する。 本実験では, 従来の静的な例と比較して, 精度の低下が顕著であり, 現状のLSMにおける数学推論の脆弱さが示唆された。

関連論文リスト

• In Context Learning and Reasoning for Symbolic Regression with Large Language Models [0.0]
  LLM(Large Language Models)は、トランスフォーマーベースの機械学習モデルである。 GPT-4がデータセットから方程式のシンボリックレグレッションを実現する方法を示す。 このアプローチは、ターゲット方程式がより複雑である確立されたSRプログラムよりも優れているわけではない。
  論文  参考訳（メタデータ） (2024-10-22T21:50:52Z)
• BEATS: Optimizing LLM Mathematical Capabilities with BackVerify and Adaptive Disambiguate based Efficient Tree Search [22.672130194493793]
  大規模言語モデル(LLM)は、幅広いタスクやドメインで例外的なパフォーマンスを示している。 彼らは数学の厳密で論理的な性質のため、数学の問題を解くのに依然として困難に直面している。 本稿では,数学的問題解決能力を高めるための新しい手法BEATSを提案する。
  論文  参考訳（メタデータ） (2024-09-26T15:47:42Z)
• OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
  大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。 本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
  論文  参考訳（メタデータ） (2024-07-13T13:27:57Z)
• MARIO Eval: Evaluate Your Math LLM with your Math LLM--A mathematical dataset evaluation toolkit [4.957099360745168]
  大規模言語モデル (LLM) は数学的問題の解法を含む様々な推論タスクにおいて研究されている。 我々は,ピソン型計算機代数システム(CAS)をその数値精度に活用するだけでなく,オプションのLCMも組み込んだ総合的な数学的評価ツールキットを提案する。
  論文  参考訳（メタデータ） (2024-04-22T07:03:44Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• MathCoder: Seamless Code Integration in LLMs for Enhanced Mathematical Reasoning [52.97768001837269]
  本稿では,オープンソース言語モデルを微調整する手法を提案する。 本稿では,問題のある新しい,高品質なデータセットを生成する手法とそのコードベースソリューションを提案する。 このアプローチは、問題の解決にコードベースのソリューションを生成することができるモデルのファミリーであるMathCoderモデルを生成する。
  論文  参考訳（メタデータ） (2023-10-05T17:52:09Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)
• Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks [108.4568236569645]
  CoT(Chain-of-thinkts prompting)は、これらのタスクに対する最先端の手法である。 本稿では、言語モデルを用いて推論過程をプログラムとして表現する「思考プログラム(PoT)」を提案する。 PoTは、評価されたすべてのデータセットに対して、CoTに対する平均的なパフォーマンス向上を約12%示すことができる。
  論文  参考訳（メタデータ） (2022-11-22T21:06:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。