論文の概要: MathConstraint: Automated Generation of Verified Combinatorial Reasoning Instances for LLMs
- arxiv url: http://arxiv.org/abs/2605.08498v1
- Date: Fri, 08 May 2026 21:28:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.68703
- Title: MathConstraint: Automated Generation of Verified Combinatorial Reasoning Instances for LLMs
- Title（参考訳）: MathConstraint: LLMのための検証済みコンビネーション推論インスタンスの自動生成
- Authors: Viresh Pati, Zhengyu Li, Piyush Jha, Rahul Garg, Yatharth Sejpal, Vijay Ganesh,
- Abstract要約: 我々はLLMの推論能力を評価するためのハードで適応的なベンチマークであるMathConstraintを紹介する。
MathConstraintはパラメータ化された問題タイプを使用して、任意に困難で自動検証可能なインスタンスをスケーラブルに生成する。
我々は、一般的なSAT/SMTソルバを含むサンドボックスのPython環境にアクセスせずに、12のフロンティアモデルとオープンウェイトモデルを評価する。
- 参考スコア（独自算出の注目度）: 8.776836095441475
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce MathConstraint, a hard, adaptive benchmark for evaluating the combinatorial reasoning capabilities of LLMs. We combine constraint satisfaction problems with rigorous solver-based verification and design an adaptive generator to create instances that remain challenging as the LLMs improve in their reasoning capabilities. Unlike existing benchmarks that quickly saturate on fixed datasets or use LLM-as-a-judge for checking solutions,MathConstraint uses parameterized problem types that enable scalable generation of arbitrarily difficult and automatically verifiable instances. We release MathConstraint-Easy ($266$ instances), on which frontier models achieve between $72.6\%$ (gemini-3.1-flash-lite) and $87.6\%$ (gpt-5.5) accuracy, and MathConstraint ($329$ instances) on which the same models drop to between $18.5\%$ (claude-4.6-sonnet) and $66.9\%$ (gpt-5.5) accuracy, demonstrating the resilience of our benchmark generator against rapid progress in LLM reasoning capabilities. We evaluate 12 frontier and open-weight models with and without access to a sandboxed Python environment that includes generic SAT/SMT solvers. Tool access roughly doubles frontier accuracy on MathConstraint (mean $+28$pp; up to $+52$pp for claude-4.6-sonnet). Further, halving the tool-call budget from $8$ to $4$ rounds erases up to $37$ points -- a sensitivity that most single-budget benchmarks miss. We release the generator, dataset, and evaluation harness as a robust environment for studying combinatorial reasoning and tool-use behavior under adversarially-tunable difficulty.
- Abstract（参考訳）: 我々は,LLMの組合せ推論能力を評価するための,ハードで適応的なベンチマークであるMathConstraintを紹介する。
制約満足度問題と厳密な解法に基づく検証とを組み合わせることで,LLMの推論能力の向上にともなって困難なインスタンスを生成する適応型ジェネレータを設計する。
固定データセットですばやく飽和する既存のベンチマークや、ソリューションのチェックにLLM-as-a-judgeを使用する既存のベンチマークとは異なり、MathConstraintはパラメータ化された問題タイプを使用して、任意に困難で自動検証可能なインスタンスのスケーラブルな生成を可能にする。
我々は、フロンティアモデルが72.6 %$(gemini-3.1-flash-lite)から87.6 %$(gpt-5.5)の精度で達成されるMathConstraint-Easy(266$インスタンス)と、同じモデルが18.5 %$(claude-4.6-sonnet)から6.9 %$(gpt-5.5)の精度で低下するMathConstraint (329$インスタンス)を、LLM推論能力の急速な進歩に対するベンチマークジェネレータのレジリエンスを示す。
我々は、一般的なSAT/SMTソルバを含むサンドボックスのPython環境にアクセスせずに、12のフロンティアモデルとオープンウェイトモデルを評価する。
ツールアクセスはMathConstraintのフロンティア精度をおよそ2倍にする(平均$+28$pp; claude-4.6-sonnetの最大$+52$pp)。
さらに、ツールコールの予算を8ドルから4ドルに半減すると、最大37ドルまでのポイントが消される。
逆向きの難易度下での組合せ推論とツール使用行動を研究するための頑健な環境として, ジェネレータ, データセット, 評価ハーネスをリリースする。
関連論文リスト
- Adaptive Test-Time Compute Allocation for Reasoning LLMs via Constrained Policy Optimization [18.737087162461563]
テストタイムの計算スケーリングは、大規模言語モデルのパフォーマンスを向上させるための強力なレバーとなっている。
しかし、これらのテクニックを有限の推論予算の下で展開するには、現在のシステムがほとんど無視する決定が必要である。
我々はこれを制約付き最適化問題(平均計算予算の予測精度を最大化する)として定式化し、2段階のソルベ・テン・ラーンパイプラインで解いた。
論文 参考訳（メタデータ） (2026-04-16T10:39:22Z) - Automatically Generating Hard Math Problems from Hypothesis-Driven Error Analysis [16.008582390875656]
LLMが抱える特定の数学概念とスキルを特定するために,AI生成仮説を用いた新しいベンチマーク生成パイプラインを提案する。
我々のパイプラインは高度に適応可能であり、幅広いLLM能力を探索するために数学以外の応用が可能である。
論文 参考訳（メタデータ） (2026-04-06T03:27:48Z) - CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。
ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。
ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
論文 参考訳（メタデータ） (2026-03-16T14:05:13Z) - Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。
SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-14T02:58:07Z) - PREMISE: Scalable and Strategic Prompt Optimization for Efficient Mathematical Reasoning in Large Models [14.824367675818355]
Claude 3.7 Sonnet や OpenAI o1 のような大きな推論モデル (LRM) は、長いチェーン・オブ・シークレット (CoT) 推論を用いて数学的なベンチマークで高い性能を達成する。
これによりトークンの使用とコストが膨らみ、レイテンシに敏感な設定やAPI制約のある設定でのデプロイメントが制限される。
モデル重みを変更することなく、推論オーバーヘッドを低減するプロンプトのみのフレームワークであるPreMISEを紹介する。
論文 参考訳（メタデータ） (2025-06-12T14:05:09Z) - AdaptiveLLM: A Framework for Selecting Optimal Cost-Efficient LLM for Code-Generation Based on CoT Length [5.856039862078523]
本稿では,タスクの難易度を自動的に評価することにより,与えられたコーディングタスクに対して最適な大言語モデル(LLM)を動的に選択するフレームワークであるAdaptiveLLMを紹介する。
筆者らのフレームワークはまず,推論モデルから生成したChain-of-Thought長を用いてタスクの難易度を推定し,これらをk平均で3つの難易度にクラスタ化し,難易度を考慮したCodeBERTを組み込む。
我々のフレームワークは、pass@1スコアを7.86%改善し、ベースラインメソッドである ComplexityNet と比較して、リソース消費を88.9%削減します。
論文 参考訳（メタデータ） (2025-06-12T09:43:48Z) - LookAlike: Consistent Distractor Generation in Math MCQs [42.19039301965107]
そこで我々はLookAlikeを提案する。LookAlikeは優先最適化によるエラー・ディトラクタの整合性を改善する手法である。
主なイノベーションは、(a)モデル不整合から合成選好ペアをマイニングすること、(b)教師付き微調整の交互化である。
LookAlike は LLM-as-a-judge 評価の下で、イントラクタ生成の精度51.6%、エラー生成の精度57.2% を達成する。
論文 参考訳（メタデータ） (2025-05-03T19:18:06Z) - How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。
$gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。
以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-18T14:04:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。