論文の概要: ReliableMath: Benchmark of Reliable Mathematical Reasoning on Large Language Models

• arxiv url: http://arxiv.org/abs/2507.03133v1
• Date: Thu, 03 Jul 2025 19:19:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.589381
• Title: ReliableMath: Benchmark of Reliable Mathematical Reasoning on Large Language Models
• Title（参考訳）: ReliableMath: 大規模言語モデルにおける信頼性数学推論のベンチマーク
• Authors: Boyang Xue, Qi Zhu, Rui Wang, Sheng Wang, Hongru Wang, Fei Mi, Yasheng Wang, Lifeng Shang, Qun Liu, Kam-Fai Wong,
• Abstract要約: 大きな言語モデル(LLM)は、解決不可能な問題やその能力を超える問題に直面した時に、信頼できない応答を作る傾向があります。 我々はオープンソースの解決可能問題と高品質の未解決問題を含むReliableMathデータセットを開発した。 LLMは解決不可能な問題を直接特定できず、常に生成された応答を生成する。
• 参考スコア（独自算出の注目度）: 70.33764118171463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although demonstrating remarkable performance on reasoning tasks, Large Language Models (LLMs) still tend to fabricate unreliable responses when confronted with problems that are unsolvable or beyond their capability, severely undermining the reliability. Prior studies of LLM reliability have primarily focused on knowledge tasks to identify unanswerable questions, while mathematical reasoning tasks have remained unexplored due to the dearth of unsolvable math problems. To systematically investigate LLM reliability in mathematical reasoning tasks, we formulate the reliability evaluation for both solvable and unsolvable problems. We then develop a ReliableMath dataset which incorporates open-source solvable problems and high-quality unsolvable problems synthesized by our proposed construction workflow with human evaluations. Experiments are conducted on various LLMs with several key findings uncovered. LLMs fail to directly identify unsolvable problems and always generate fabricated responses. When instructing LLMs to indicate unsolvability using a reliable prompt, the reliability of larger-sized LLMs remains on solvable problems, but notably improves on unsolvable problems yet still falls short of solvable problems. However, small LLMs rarely show any progress despite employing reliable prompts. Therefore, we further propose an alignment strategy to enhance small LLMs' reliability, which can significantly improve LLM reliability performances on both in-domain and out-of-domain tasks.
• Abstract（参考訳）: 推論タスクにおいて顕著なパフォーマンスを示すが、Large Language Models (LLMs) は、解決不可能な問題やその能力を超える問題に直面して、信頼性を著しく損なうような、信頼できない応答を作る傾向にある。 LLMの信頼性に関する以前の研究は、主に解決不可能な問題を特定するための知識タスクに焦点を合わせてきたが、数学的推論タスクは解決不可能な数学の問題を解き放つために未探索のままである。 数学的推論タスクにおけるLCMの信頼性を体系的に検討するため,解答可能問題と解答不能問題の両方に対する信頼性評価を定式化する。 そこで我々は,オープンソースの解決可能問題と,人間の評価による構築ワークフローによって合成された高品質な未解決問題とを組み込んだReliableMathデータセットを開発した。 実験は様々なLSMで行われ、いくつかの重要な発見が明らかになった。 LLMは解決不可能な問題を直接特定できず、常に生成された応答を生成する。 信頼性の高いプロンプトを用いてLLMに未解決性を示すように指示すると、大型のLLMの信頼性は解決不可能な問題に留まるが、未解決問題の改善は依然として解決不可能な問題に欠ける。 しかし、信頼性の高いプロンプトを採用しているにもかかわらず、小さなLSMでは進展はめったにない。 そこで本研究では,LLMの信頼性を向上するアライメント戦略を提案し,ドメイン内タスクとドメイン外タスクの両方において,LLMの信頼性性能を大幅に向上させることができる。

関連論文リスト

• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• Evaluation and Improvement of Fault Detection for Large Language Models [30.760472387136954]
  本稿では,大規模言語モデル(LLM)における既存の故障検出手法の有効性について検討する。 既存の手法の故障検出能力を高めるために, textbfMutation による予測を行う textbfConfidence textbfSmoothing フレームワーク textbfMuCS を提案する。
  論文  参考訳（メタデータ） (2024-04-14T07:06:12Z)
• Adversarial Math Word Problem Generation [6.92510069380188]
  大規模言語モデル(LLM)の公平な評価を保証するための新しいパラダイムを提案する。 評価を目的とした質問の構造と難易度を保持する逆例を生成するが,LLMでは解けない。 我々は様々なオープン・クローズド・ソース LLM の実験を行い、定量的かつ質的に、我々の手法が数学の問題解決能力を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2024-02-27T22:07:52Z)
• Examining LLMs' Uncertainty Expression Towards Questions Outside Parametric Knowledge [35.067234242461545]
  大規模言語モデル(LLM)は、適切な応答を生成するのに十分なパラメトリック知識が不足している状況において不確実性を表現する。 本研究の目的は,このような状況下でのLCMの行動の体系的調査であり,誠実さと役に立つことのトレードオフを強調することである。
  論文  参考訳（メタデータ） (2023-11-16T10:02:40Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。