論文の概要: Verifier-Backed Hard Problem Generation for Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2605.06660v1
- Date: Thu, 07 May 2026 17:58:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:12.07568
- Title: Verifier-Backed Hard Problem Generation for Mathematical Reasoning
- Title（参考訳）: 数学的推論のための検証支援型ハード問題生成
- Authors: Yuhang Lai, Jiazhan Feng, Yee Whye Teh, Ning Miao,
- Abstract要約: この研究は、検証器に強化された3次元セルフプレイ上に構築されたハード問題生成フレームワークであるVHGを導入している。
独立検証器を従来のセッター-ソルバ双対性に組み込むことで,問題妥当性と難易度によって連立決定されるセッターの報酬を制約する。
実験結果から,VHGはすべての基準線法をクリアマージンで大幅に上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 30.66313783947757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) demonstrate strong capabilities for solving scientific and mathematical problems, yet they struggle to produce valid, challenging, and novel problems - an essential component for advancing LLM training and enabling autonomous scientific research. Existing problem generation approaches either depend on expensive human expert involvement or adopt naive self-play paradigms, which frequently yield invalid problems due to reward hacking. This work introduces VHG, a verifier-enhanced hard problem generation framework built upon three-party self-play. By integrating an independent verifier into the conventional setter-solver duality, our design constrains the setter's reward to be jointly determined by problem validity (evaluated by the verifier) and difficulty (assessed by the solver). We instantiate two verifier variants: a Hard symbolic verifier and a Soft LLM-based verifier, with evaluations conducted on indefinite integral tasks and general mathematical reasoning tasks. Experimental results show that VHG substantially outperforms all baseline methods by a clear margin.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的および数学的問題を解決する強力な能力を示しているが、有効な、挑戦的な、新しい問題を生み出すのに苦労している。
既存の問題生成アプローチは、高価な専門家の関与に依存するか、単純で自己表現的なパラダイムを採用するかのいずれかであり、報酬のハッキングによってしばしば不正な問題を引き起こす。
この研究は、検証器に強化された3人組のセルフプレイ上に構築されたハード問題生成フレームワークであるVHGを導入している。
独立検証器を従来のセッター-ソルバ双対性に組み込むことで,問題妥当性(検証器による評価)と難易度(解器による評価)で連立決定されるセッターの報酬を制約する。
我々は、不確定な積分タスクと一般的な数学的推論タスクについて評価を行い、ハードシンボル検証器とソフトLSMベースの検証器の2つの変種をインスタンス化する。
実験結果から,VHGはすべての基準線法をクリアマージンで大幅に上回っていることがわかった。
関連論文リスト
- Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems [51.62477754641947]
本研究では,実現可能な問題を解き,固有の矛盾を検知し,能力を超えたタスクを慎重に拒否するUnsolvableQAとUnsolvableRLを提案する。
具体的には、双トラック手法を用いて導出される、ペアで解決可能かつ解決不可能なインスタンスのデータセットであるUnsolvableQAを構築する。
このデータセット上に構築されたUnsolvableRLは,精度,未解決性,難易度を考慮した3つの報酬成分を備えた強化学習フレームワークである。
論文 参考訳（メタデータ） (2025-12-01T13:32:59Z) - Variation in Verification: Understanding Verification Dynamics in Large Language Models [43.829778623942275]
本稿では、連鎖推論を生成して検証を行い、次いで二項判定を行う生成検証器について検討する。
実験の結果,有効性に関する3つの重要な知見が得られた。
論文 参考訳（メタデータ） (2025-09-22T16:36:56Z) - Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges [72.3356133063925]
審査員としての大規模言語モデル(LLM)のパラダイムはスケーラブルなソリューションとして登場したが、以前の作業は主に単純な設定に焦点を当てていた。
我々の詳細な分析は、評価信号の精度と妥当性を向上させるための重要な洞察を提供する。
論文 参考訳（メタデータ） (2025-09-03T15:48:33Z) - EvolMathEval: Towards Evolvable Benchmarks for Mathematical Reasoning via Evolutionary Testing [45.89558878854675]
EvolMathEvalは、進化テストに基づく自動数学的ベンチマーク生成と進化のフレームワークである。
連続的な自己イテレーションによって大量の高次問題を生成することができる。
また、進化を通じてGSM8Kのような公開データセットの複雑さを著しく向上させ、モデルの精度を平均48%削減する。
論文 参考訳（メタデータ） (2025-08-18T15:24:10Z) - OMEGA: Can LLMs Reason Outside the Box in Math? Evaluating Exploratory, Compositional, and Transformative Generalization [88.76091817642963]
最近の大規模言語モデル (LLMs) は、DeepSeek-R1-のような長い鎖の推論を持ち、オリンピアード級数学において印象的な成果を上げている。
本稿では,3つの分布外一般化の軸を評価するために設計された3つの一般化 Axes-a ベンチマークを用いた OMEGA-Out-of-distriion Math Problems Evaluation を提案する。
論文 参考訳（メタデータ） (2025-06-23T17:51:40Z) - How to Get Your LLM to Generate Challenging Problems for Evaluation [33.625052642068624]
CHASEは、大規模言語モデルを用いて、難しい問題を合成的に生成する統合フレームワークである。
評価ベンチマークを作成するためにCHASEを実装している。
これらのベンチマークにおける最先端のLCMの性能は、40-60%の精度の範囲にある。
論文 参考訳（メタデータ） (2025-02-20T16:09:55Z) - Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳（メタデータ） (2024-10-05T05:21:48Z) - VCSearch: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [26.61758685366347]
5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。
VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
論文 参考訳（メタデータ） (2024-06-07T16:24:12Z) - Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。
本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。
我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
論文 参考訳（メタデータ） (2023-10-15T07:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。