論文の概要: Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration

• arxiv url: http://arxiv.org/abs/2410.14979v2
• Date: Wed, 23 Oct 2024 15:43:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:33.880679
• Title: Do Large Language Models Truly Grasp Mathematics? An Empirical Exploration
• Title（参考訳）: 大規模言語モデルは真にグラブな数学か : 経験的探索
• Authors: Wei Xie, Shuoyoucheng Ma, Zhenhua Wang, Enze Wang, Baosheng Wang, Jinshu Su,
• Abstract要約: 近年の研究では、LLMが人間のような論理的推論を採用することを奨励することで、チェーン・オブ・シント・プロンプトが数学的推論を促進することが示唆されている。 以上の結果から,CoTプロンプトの使用にもかかわらず,最新のo1-previewモデルを含む主要なLLMは大きなエラー率を示し続けていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 8.447029969148984
• License:
• Abstract: Despite their proficiency in math tasks, the mechanisms underlying LLMs' mathematical reasoning abilities remain a subject of debate. Recent studies suggest that chain-of-thought (CoT) prompts can bolster mathematical reasoning by encouraging LLMs to employ human-like logical reasoning (System 2), enabling them to excel on the Cognitive Reflection Test (CRT). To assess whether LLMs genuinely possess System 2-like logical reasoning, we introduced targeted modifications to CRT problems. Our findings reveal that, despite the use of CoT prompts, mainstream LLMs, including the latest o1-preview model, continue to exhibit a significant error rate. Further analysis indicates that they predominantly rely on System 1-like intuitive reasoning and pattern matching derived from training data, rather than demonstrating mastery of mathematical thinking. This discovery challenges the prevailing notion that LLMs possess genuine logical reasoning abilities and that CoT can enhance them. Consequently, this work may temper overly optimistic projections regarding LLMs' advancement toward artificial general intelligence.
• Abstract（参考訳）: 数学の習熟度にもかかわらず、LLMの数学的推論能力のメカニズムは議論の対象となっている。 近年の研究では、チェーン・オブ・シント(CoT)が、LLMに人間のような論理的推論(System 2)を採用するよう促すことで、数学的推論を促進することが示唆されている。 LLM が System 2 ライクな論理的推論を真に持っているかどうかを評価するため,我々は CRT 問題に対するターゲット修正を導入した。 以上の結果から,CoTプロンプトの使用にもかかわらず,最新のo1-previewモデルを含む主要なLLMは大きなエラー率を示し続けていることが明らかとなった。 さらに分析したところ、それらは数学的思考の熟達を示すのではなく、トレーニングデータから派生したシステム1のような直感的推論とパターンマッチングに大きく依存していることがわかった。 この発見は、LLMが真の論理的推論能力を持ち、CoTがそれらを強化するという一般的な概念に挑戦する。 結果として、この研究はLLMの人工知能への進歩に関する非常に楽観的な予測を抑えることができる。

関連論文リスト

• LLMs can implicitly learn from mistakes in-context [15.818061010632249]
  本研究では,Large Language Models (LLMs) が,説明が得られない場合の数学的推論タスクの誤りから学習できるかどうかを検討する。 驚くべきことに、LLMは文脈から有理性を取り除いた場合、平均して性能が向上する。 このアプローチは、私たちの評価においてチェーン・オブ・シークレット・プロンプトよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-12T16:31:21Z)
• Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs [86.79757571440082]
  OpenAIのo1のような大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な能力を示している。 我々は、o1-like LLMがしばしば異なる理性的思考を切り替える、という現象を特定する。 本稿では,思考間の早期移行を回避できる思考切替ペナルティTIPを用いた復号戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-30T18:58:18Z)
• On Memorization of Large Language Models in Logical Reasoning [70.94164038947078]
  大きな言語モデル(LLM)は、挑戦的な推論ベンチマークで優れたパフォーマンスを達成するが、基本的な推論ミスを発生させることもできる。 1つの仮説は、より高度でほぼ飽和した性能は、類似した問題の記憶が原因ではないかというものである。 微調整は暗記を重くするが,常に一般化性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-10-30T15:31:54Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Cognitive phantoms in LLMs through the lens of latent variables [0.3441021278275805]
  大規模言語モデル(LLM)はますます現実のアプリケーションに到達し、それらの振る舞いをよりよく理解する必要がある。 近年のLCMに対する心理測定調査では、LLMの人間らしい特徴が報告されており、潜在的に影響する可能性がある。 このアプローチは有効性の問題に悩まされており、これらの特性がLLMに存在し、人間用に設計されたツールで測定可能であることを前提としている。 本研究では,人間と3人のLDMの潜在的性格構造を2つの評価されたパーソナリティアンケートを用いて比較することにより,この問題を考察する。
  論文  参考訳（メタデータ） (2024-09-06T12:42:35Z)
• Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
  CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。 意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
  論文  参考訳（メタデータ） (2024-04-23T12:16:05Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
  本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。 我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
  論文  参考訳（メタデータ） (2024-01-31T18:48:20Z)
• Thinking Fast and Slow in Large Language Models [0.08057006406834465]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。 本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
  論文  参考訳（メタデータ） (2022-12-10T05:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。