論文の概要: Systematic Diagnosis of Brittle Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2510.08595v1
• Date: Sun, 05 Oct 2025 21:40:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 00:38:47.090793
• Title: Systematic Diagnosis of Brittle Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける脆性推論の体系的診断
• Authors: V. S. Raghu Parupudi,
• Abstract要約: 人工知能における中心的な問題は、機械学習モデルが数学を理解する範囲である。 本稿では,特定の故障点を診断するために,標準ベンチマークを超えて数学的推論を計測する新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 1.14219428942199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in artificial intelligence is the extent to which machine learning models comprehend mathematics. To address this, we propose a novel framework for measuring mathematical reasoning that moves beyond standard benchmarks to diagnose specific failure points. Our method first generates structured, step-by-step reasoning from gpt-3.5-turbo on the GSM8K dataset. We then use a more capable analyst model, gpt-4o-mini, to categorize errors and, crucially, perform an unsupervised clustering of every reasoning sentence to identify emergent "reasoning modes." This analysis reveals a cognitive profile with a stark, nonhuman-like brittleness: while the model achieves near-perfect accuracy on procedural modes like sequential calculation, its performance on modes requiring combinatorial reasoning with restrictions plummets. By identifying and quantifying the reliability of these distinct reasoning skills, our work provides a more granular method to evaluate mathematical comprehension and offers a precise roadmap for developing new capabilities and more reliable future applications.
• Abstract（参考訳）: 人工知能における中心的な問題は、機械学習モデルが数学を理解する範囲である。 そこで本研究では,特定の故障点を診断するために,標準ベンチマークを超えて数学的推論を計測する新しいフレームワークを提案する。 提案手法はまず,GSM8Kデータセット上のgpt-3.5-turboから,構造化されたステップバイステップの推論を生成する。 次に、より有能な分析モデルgpt-4o-miniを用いて、エラーを分類し、重要なことに、すべての推論文を教師なしクラスタリングして、創発的な「推論モード」を識別する。 この分析は、シーケンシャルな計算のような手続き的モードにおけるほぼ完璧な精度を達成する一方で、制約のある組合せ的推論を必要とするモードにおける性能を実現する。 これらの異なる推論スキルの信頼性を特定し定量化することにより、我々の研究は数学的理解を評価するためのよりきめ細かい方法を提供し、新しい能力とより信頼性の高い将来のアプリケーションを開発するための正確なロードマップを提供する。

関連論文リスト

• Beyond Memorization: Extending Reasoning Depth with Recurrence, Memory and Test-Time Compute Scaling [60.63703438729223]
  異なるアーキテクチャとトレーニング手法がモデル多段階推論能力にどのように影響するかを示す。 我々は,逐次計算においてモデル深度の増加が重要な役割を担っていることを確認した。
  論文  参考訳（メタデータ） (2025-08-22T18:57:08Z)
• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,複数の不完全なモデルから得られた知識を,難易度の高い新しいシナリオにおいて堅牢に統合するための効果的なメカニズムとして,一貫性に基づく誘拐の有効性を検証するものである。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Reasoning Model is Stubborn: Diagnosing Instruction Overriding in Reasoning Models [27.437685534830457]
  大規模言語モデルはよく知られた推論パターンに依存している。 ユーザーからの明確な指示にもかかわらず、これらのモデルはしばしば明確に述べられた条件をオーバーライドし、習慣的推論の軌跡をデフォルトにしている。 この振る舞いは、特に数学や論理パズルのような分野において重要な課題を呈している。
  論文  参考訳（メタデータ） (2025-05-22T19:00:01Z)
• From Correctness to Comprehension: AI Agents for Personalized Error Diagnosis in Education [24.970741456147447]
  大規模言語モデル(LLM)は、GSM8Kのようなベンチマークでほぼ完璧なパフォーマンスを達成し、驚くべき数学的推論能力を示している。 しかし、誤り診断やフィードバック生成よりも正確さが過大評価されているため、パーソナライズされた教育への応用は依然として限られている。 textbfMathCCSは,システム的エラー解析と修正されたフィードバックのためのベンチマークである。 第2に、過去のデータを利用してトレンドを追跡し、診断精度を向上させるシーケンシャルなエラー解析フレームワークを開発する。 第3に、歴史的分析のための時系列エージェントと実時間のためのMLLMエージェントを組み合わせたマルチエージェント協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:57:51Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
  モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。 本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2024-07-10T09:13:11Z)
• Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
  XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。 我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。 我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-05-30T16:04:35Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。