論文の概要: Robustness Assessment of Mathematical Reasoning in the Presence of Missing and Contradictory Conditions

• arxiv url: http://arxiv.org/abs/2406.05055v1
• Date: Fri, 7 Jun 2024 16:24:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 13:22:27.790707
• Title: Robustness Assessment of Mathematical Reasoning in the Presence of Missing and Contradictory Conditions
• Title（参考訳）: 失語・矛盾条件下における数学的推論のロバスト性評価
• Authors: Shi-Yu Tian, Zhi Zhou, Lin-Han Jia, Lan-Zhe Guo, Yu-Feng Li,
• Abstract要約: 我々は、ミス・コントラクタリー条件(PMC)に関する問題というベンチマークを開発する。 本稿では,これらのシナリオにおける数ショットプロンプト手法の性能を評価するための2つの新しい指標を提案する。 SMT-LIB Prompting (SLP) と呼ばれる,SMT-LIB言語を用いて直接解決する代わりに,この問題をモデル化する手法を提案する。
• 参考スコア（独自算出の注目度）: 48.251724997889184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have demonstrated impressive performance on reasoning tasks, which can be further improved through few-shot prompting techniques. However, the current evaluation primarily focuses on carefully constructed benchmarks and neglects the consideration of real-world reasoning problems that present missing and contradictory conditions, known as ill-defined problems. Our observations suggest that existing few-shot prompting techniques are ineffective in such scenarios, often providing overconfident answers or hallucination. To further study this problem, we develop a benchmark called Problems with Missing and Contradictory conditions (PMC) and introduce two novel metrics to evaluate the performance of few-shot prompting methods in these scenarios. Our analysis using the PMC benchmark reveals a trade-off dilemma between the performance of mathematical reasoning for well-defined problems and the ability to recognize ill-defined problems. To address the challenges posed by PMC, we propose a novel few-shot prompting method called SMT-LIB Prompting (SLP), which utilizes the SMT-LIB language to model the problems instead of solving them directly. Subsequently, a double-check solving strategy checks the satisfiability and uniqueness of the solution and provides final feedback. Extensive experiments demonstrate the superiority of our SLP approach compared to existing few-shot prompting methods when dealing with problems with missing and contradictory conditions. We will open-source our benchmark and code to facilitate future research.
• Abstract（参考訳）: 大規模言語モデル(LLM)は推論タスクにおいて素晴らしいパフォーマンスを示しており、数発のプロンプト技術によってさらに改善することができる。 しかし、現在の評価は主に注意深く構築されたベンチマークに焦点をあてており、未定義問題として知られる欠落と矛盾した条件を呈する現実の推論問題を考慮に入れていない。 我々の観察では、既存の数発のプロンプト技術はそのようなシナリオでは効果がないことが示唆され、しばしば過度な回答や幻覚を与える。 この問題をさらに研究するために,PMC (Iss with Missing and Contradictory conditions) と呼ばれるベンチマークを開発し,これらのシナリオにおける数発プロンプト手法の性能を評価するための2つの新しい指標を提案する。 PMCベンチマークを用いて解析したところ, 問題に対する数学的推論の性能と不確定な問題を認識する能力との間には, トレードオフジレンマが生じることがわかった。 PMCがもたらす課題を解決するために,SMT-LIB Prompting (SLP) と呼ばれる,SMT-LIB言語を用いて直接解決する代わりに,その問題をモデル化する新しいプロンプトプロンプト手法を提案する。 その後、二重チェック解決戦略がソリューションの満足度と独自性をチェックし、最終的なフィードバックを提供する。 過剰な実験は、既存の数発のプロンプト法と比較して、不足条件や矛盾条件に対処する際のSLPアプローチの優位性を実証している。 将来の研究を促進するため、ベンチマークとコードをオープンソースにします。

関連論文リスト

• RM-PoT: Reformulating Mathematical Problems and Solving via Program of Thoughts [13.07180561863778]
  本稿では、問題修正(RM)、コード支援推論(PoT)、ドメイン認識による少ショット学習を統合した3段階のフレームワークを提案する。 提案手法はまず,入力問題を多種多様な表面形状に再構成し,構造バイアスを低減し,意味的に整合した5つの例を検索し,文脈的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-02-18T06:54:32Z)
• Large Language Models and Mathematical Reasoning Failures [1.6114012813668932]
  本稿では,50の高校レベルの単語問題を用いた大規模言語モデル(LLM)の数学的推論能力について検討する。 最終回答と解決手順の両方を厳格に分析して、推論の失敗を特定します。 より新しいモデル(例えば、o3-mini、deepseek-r1)はより精度が高いが、全てのモデルは空間的推論、戦略的計画、算術における誤りを示す。
  論文  参考訳（メタデータ） (2025-02-17T09:07:32Z)
• EnigmaEval: A Benchmark of Long Multimodal Reasoning Challenges [17.056693711040747]
  エニグマエスバル(EnigmaEval)は、パズル競技やイベントから派生した問題と解決策のデータセットである。 このデータセットは、暗黙の知識合成と多段階帰納的推論を実行するモデルの能力を探索する。 ベンチマークは1184のパズルで構成されており、複雑度は様々だ。
  論文  参考訳（メタデータ） (2025-02-13T00:18:34Z)
• MATH-Perturb: Benchmarking LLMs' Math Reasoning Abilities against Hard Perturbations [90.07275414500154]
  各種モデルにおけるMATH-P-Hardの性能低下を観察する。 また、学習した問題解決スキルを盲目的に適用する新しい形態の記憶に関する懸念も提起する。
  論文  参考訳（メタデータ） (2025-02-10T13:31:46Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• ErrorRadar: Benchmarking Complex Mathematical Reasoning of Multimodal Large Language Models Via Error Detection [60.297079601066784]
  エラー検出におけるMLLMの能力を評価するために設計された最初のベンチマークであるErrorRadarを紹介する。 ErrorRadarはエラーステップ識別とエラー分類という2つのサブタスクを評価している。 2500の高品質なマルチモーダルK-12数学問題で構成され、実世界の学生相互作用から収集される。 GPT-4oの優れた性能は、まだ人間の評価に約10%遅れているため、大きな課題が残っている。
  論文  参考訳（メタデータ） (2024-10-06T14:59:09Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。