論文の概要: The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
- arxiv url: http://arxiv.org/abs/2609.24555v2
- Date: Mon, 28 Sep 2026 12:36:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 07:18:05.967963
- Title: The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
- Title（参考訳）: 無限のエクササイズ:今日のモデルから超知能への数学的構成
- Abstract要約: エンドレス・エクサム(Endless Exam)は、数学的な構成問題の14のパラメータ化されたファミリーにまたがるベンチマークである。
提出された各オブジェクトは、自動的に妥当性を確認し、公表されたフロンティアまたは建設ベースラインに対して相対的な品質スコアを割り当てる。
このベンチマークは、オープンな数学的問題から長期的な課題を導き、パラメータを変化させることでより大きなインスタンスを生成する。
- 参考スコア（独自算出の注目度）: 42.460216567158426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Endless Exam, a benchmark spanning fourteen parameterised families of mathematical construction problems, with verifiable scores that distinguish progress before and beyond published mathematical frontiers. Each submitted object is checked automatically for validity and assigned a relative quality score against a published frontier or construction baseline, without capping improvements at 1. The benchmark draws long-term challenges from open mathematical problems and generates larger instances by varying their parameters. Compact certificates allow large constructions to be verified without listing every element. Across nine models evaluated on 69 distinct instances, continuous quality scores distinguish performance even though none of the 30 published-frontier references is surpassed. Size-quality curves show how construction quality changes as problem size increases. We release the generators, verifiers, references, model responses and analysis to support continued measurement before and beyond human frontiers.
- Abstract（参考訳）: 数式構築問題のパラメータ化された14の族にまたがるベンチマークであるEndless Examを導入する。
提案された各オブジェクトは、自動的に妥当性を確認し、公開フロンティアや建設ベースラインに対して相対的な品質スコアを割り当てる。
このベンチマークは、オープンな数学的問題から長期的な課題を導き、パラメータを変化させることでより大きなインスタンスを生成する。
コンパクトな証明書は、すべての要素をリストアップすることなく、大きな構成を検証できる。
69の異なるインスタンスで評価された9つのモデルのうち、連続的な品質スコアがパフォーマンスを区別する。
大きさの曲線は、問題のサイズが大きくなるにつれて建設品質がどのように変化するかを示す。
生成装置、検証装置、参照、モデル応答、分析を公開し、人間のフロンティアの前後での継続的な測定をサポートする。
関連論文リスト
- ComBench: A Benchmark for Rigorous Proof Reasoning and Constructive Realization in Olympiad-Level Combinatorics [95.15900681087088]
我々は,Olympiadレベルの診断用ベンチマークであるComBenchと,大規模言語モデルの推論機能を紹介する。
ComBenchには、補完的な2つの設定で整理された100の人間注釈の競合レベルの問題が含まれている。
実験の結果、最強モデルはAvg.全体65.4%、Best@4.3%に達した。
論文 参考訳（メタデータ） (2026-06-09T06:50:15Z) - Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models [0.0]
大きな言語モデルは、しばしば特徴的な方法で失敗する。無知を認めるのではなく、知識境界を越えて存在する質問に対して、流動的だが誤った答えを生み出す。
textbfStructured Ignorance Certificates (SICs) というパラフレーズ形式の出力スキーマを導入する。
735 UU質問に対する評価は、99.46%の妥当性率、0.967の平均証明特異度スコア、3.6%のROUGE-L改善を達成する。
論文 参考訳（メタデータ） (2026-06-07T11:01:13Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - †DAGGER: Distractor-Aware Graph Generation for Executable Reasoning in Math Problems [1.2310602580215997]
CoT(Chain-of-Thought)プロンプトは数学的な問題解決に広く採用されているが、その無関係な文脈下での挙動は未解明のままである。
DisTRACTMATH-BN は、MGSM と MSVAMP を意味的に一貫性があるが、計算的に無関係な情報で拡張するベンチマークである。
DAGGERは、散逸ノードの明示的なモデリングで実行可能な計算グラフ生成として数学的問題解決を再構築する。
論文 参考訳（メタデータ） (2026-01-11T10:51:03Z) - EternalMath: A Living Benchmark of Frontier Mathematics that Evolves with Human Discovery [23.517907682810932]
我々は、フロンティア数学的推論を評価するための完全自動化された定理基底パイプラインを提案する。
このパイプラインは、最近のピアレビューされた数学的文献を実行可能で検証可能な推論タスクに変換する。
このパイプラインを適用すると、現代の研究論文から派生した進化的評価スイートである textbfEternalMath が生成される。
論文 参考訳（メタデータ） (2026-01-04T06:40:25Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Training Verifiers to Solve Math Word Problems [12.307284507186342]
GSM8Kは8.5Kの高品質な言語学的多様性を持つ小学校数学の単語問題である。
最大のトランスモデルでさえ高いテスト性能を達成できないことがわかった。
性能を向上させるため,モデル完了の正しさを判定するトレーニング検証器を提案する。
論文 参考訳（メタデータ） (2021-10-27T04:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。