論文の概要: Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework

• arxiv url: http://arxiv.org/abs/2501.15581v1
• Date: Sun, 26 Jan 2025 16:17:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:57:15.395768
• Title: Error Classification of Large Language Models on Math Word Problems: A Dynamically Adaptive Framework
• Title（参考訳）: 数学語問題における大規模言語モデルの誤り分類:動的適応型フレームワーク
• Authors: Yuhong Sun, Zhangyue Yin, Xuanjing Huang, Xipeng Qiu, Hui Zhao,
• Abstract要約: 数学の単語問題は、大規模言語モデルの推論能力を評価するための重要なベンチマークとなる。 現在のエラー分類法は静的および事前定義されたカテゴリに依存している。 MWPES-300Kは,304,865個のエラーサンプルを含む包括的データセットである。
• 参考スコア（独自算出の注目度）: 64.83955753606443
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains. Math Word Problems (MWPs) serve as a crucial benchmark for evaluating LLMs' reasoning abilities. While most research primarily focuses on improving accuracy, it often neglects understanding and addressing the underlying patterns of errors. Current error classification methods rely on static and predefined categories, which limit their ability to capture the full spectrum of error patterns in mathematical reasoning. To enable systematic error analysis, we collect error samples from 15 different LLMs of varying sizes across four distinct MWP datasets using multiple sampling strategies. Based on this extensive collection, we introduce MWPES-300K, a comprehensive dataset containing 304,865 error samples that cover diverse error patterns and reasoning paths. To reduce human bias and enable fine-grained analysis of error patterns, we propose a novel framework for automated dynamic error classification in mathematical reasoning. Experimental results demonstrate that dataset characteristics significantly shape error patterns, which evolve from basic to complex manifestations as model capabilities increase. With deeper insights into error patterns, we propose error-aware prompting that incorporates common error patterns as explicit guidance, leading to significant improvements in mathematical reasoning performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で顕著な機能を示している。 数学語問題(MWP)は、LLMの推論能力を評価するための重要なベンチマークとなる。 ほとんどの研究は精度の向上に重点を置いているが、根底にあるエラーのパターンを理解し、対処することを無視することが多い。 現在のエラー分類法は静的および事前定義されたカテゴリに依存しており、数学的推論においてエラーパターンの全スペクトルをキャプチャする能力を制限する。 系統的な誤り解析を実現するために,複数のサンプリング手法を用いて,4つの異なるMWPデータセットにまたがる15種類のLLMの誤差サンプルを収集した。 MWPES-300Kは304,865個のエラーサンプルを含む包括的データセットで,多様なエラーパターンと推論経路を網羅する。 人間のバイアスを減らし、エラーパターンのきめ細かい分析を可能にするために、数学的推論における動的エラーの自動分類のための新しいフレームワークを提案する。 実験結果から, モデル能力の増大に伴い, 基本から複雑な表現へと進化するデータセットの特徴が著しく変化することが示された。 エラーパターンのより深い洞察により、一般的なエラーパターンを明示的なガイダンスとして組み込んだエラー認識プロンプトを提案し、数学的推論性能が大幅に向上した。

関連論文リスト

• The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It [23.803612556616685]
  大規模言語モデル(LLM)における誤り検出の力学解析について述べる。 回路解析により,4つの小さいLLMの演算誤差を検出する計算部分グラフを同定する。 この結果から,算術的解法における数値値の表面レベルのアライメントを評価するために,すべてのモデルが$textitConsistency Head$-attention Headに大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2025-02-17T13:00:44Z)
• Visual Error Patterns in Multi-Modal AI: A Statistical Approach [0.0]
  MLLM(Multi-modal large language model)は、テキストと視覚データの統合に優れるが、曖昧さや不完全な視覚刺激を解釈する際に体系的な課題に直面する。 本研究では3D、回転、顔と面の欠如といった特徴を特徴とする幾何的刺激のデータセットを用いて、統計モデルを用いてこれらの誤差を駆動する要因を分析する。
  論文  参考訳（メタデータ） (2024-11-27T01:20:08Z)
• Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
  eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。 RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。 RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
  論文  参考訳（メタデータ） (2024-10-09T07:43:38Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• Evaluating Mathematical Reasoning of Large Language Models: A Focus on Error Identification and Correction [35.01097297297534]
  LLM(Large Language Models)の既存の評価は、検査の観点からの問題解決に重点を置いている。 我々は、アノテーション付きエラータイプとステップを持つ新しいデータセットとともに、エラー識別と修正のための4つの評価タスクを定義した。 その結果, GPT-4は全モデルより優れており, LLaMA-2-7BはGPT-3.5やGemini Proに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2024-06-02T14:16:24Z)
• Understanding and Mitigating Classification Errors Through Interpretable Token Patterns [58.91023283103762]
  容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。 正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。 提案手法であるPremiseが実際によく動作することを示す。
  論文  参考訳（メタデータ） (2023-11-18T00:24:26Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。