論文の概要: The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
- arxiv url: http://arxiv.org/abs/2609.24555v1
- Date: Mon, 21 Sep 2026 13:19:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.999413
- Title: The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
- Title（参考訳）: 無限のエクササイズ:今日のモデルから超知能への数学的構成
- Abstract要約: Endless Examは、今日のモデルから人工超知能への進歩を測定するためのベンチマークである。
発行されたフロンティアや建設ベースラインに対して相対的な品質スコアを割り当てる。
生成装置、検証装置、参照、モデル応答、分析を公開し、人間のフロンティアの前後での継続的な測定をサポートする。
- 参考スコア（独自算出の注目度）: 42.460216567158426
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce the Endless Exam, a benchmark for measuring mathematical progress from today's models toward artificial superintelligence through fourteen parameterised construction families. Each submitted object is checked automatically for validity and assigned a relative quality score against a published frontier or construction baseline, without capping improvements at $1$. The families draw on open mathematical problems for long-term targets and generate new instances at larger parameters, where compact certificates keep large constructions verifiable. Across eight models evaluated on 69 distinct instances, continuous quality scores distinguish performance even though no evaluated system surpasses a published frontier. Size-quality curves show how construction quality changes as problem size increases. We release the generators, verifiers, references, model responses and analysis to support continued measurement before and beyond human frontiers.
- Abstract（参考訳）: 提案するEndless Examは,14のパラメータ化構成ファミリを通じて,今日のモデルから人工超知能への数学的進歩を測定するためのベンチマークである。
提出された各オブジェクトは、自動的に妥当性を確認し、リリースされたフロンティアや建設ベースラインに対して相対的な品質スコアを割り当てる。
ファミリーは、長期的目標に対するオープンな数学的問題を引き合いに出し、より大きなパラメータで新しいインスタンスを生成し、そこでは、コンパクトな証明書が大きな構成を検証できる。
69の異なるインスタンスで評価された8つのモデルに対して、評価されたシステムが公開されたフロンティアを超えなくても、連続的な品質スコアがパフォーマンスを区別する。
大きさの曲線は、問題のサイズが大きくなるにつれて建設品質がどのように変化するかを示す。
生成装置、検証装置、参照、モデル応答、分析を公開し、人間のフロンティアの前後での継続的な測定をサポートする。
関連論文リスト
- ComBench: A Benchmark for Rigorous Proof Reasoning and Constructive Realization in Olympiad-Level Combinatorics [95.15900681087088]
我々は,Olympiadレベルの診断用ベンチマークであるComBenchと,大規模言語モデルの推論機能を紹介する。
ComBenchには、補完的な2つの設定で整理された100の人間注釈の競合レベルの問題が含まれている。
実験の結果、最強モデルはAvg.全体65.4%、Best@4.3%に達した。
論文 参考訳（メタデータ） (2026-06-09T06:50:15Z) - Calibration of Structured Ignorance Certificates for Diagnosing Unknown Unknowns in Reasoning Models [0.0]
大きな言語モデルは、しばしば特徴的な方法で失敗する。無知を認めるのではなく、知識境界を越えて存在する質問に対して、流動的だが誤った答えを生み出す。
textbfStructured Ignorance Certificates (SICs) というパラフレーズ形式の出力スキーマを導入する。
735 UU質問に対する評価は、99.46%の妥当性率、0.967の平均証明特異度スコア、3.6%のROUGE-L改善を達成する。
論文 参考訳（メタデータ） (2026-06-07T11:01:13Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - †DAGGER: Distractor-Aware Graph Generation for Executable Reasoning in Math Problems [1.2310602580215997]
CoT(Chain-of-Thought)プロンプトは数学的な問題解決に広く採用されているが、その無関係な文脈下での挙動は未解明のままである。
DisTRACTMATH-BN は、MGSM と MSVAMP を意味的に一貫性があるが、計算的に無関係な情報で拡張するベンチマークである。
DAGGERは、散逸ノードの明示的なモデリングで実行可能な計算グラフ生成として数学的問題解決を再構築する。
論文 参考訳（メタデータ） (2026-01-11T10:51:03Z) - EternalMath: A Living Benchmark of Frontier Mathematics that Evolves with Human Discovery [23.517907682810932]
我々は、フロンティア数学的推論を評価するための完全自動化された定理基底パイプラインを提案する。
このパイプラインは、最近のピアレビューされた数学的文献を実行可能で検証可能な推論タスクに変換する。
このパイプラインを適用すると、現代の研究論文から派生した進化的評価スイートである textbfEternalMath が生成される。
論文 参考訳（メタデータ） (2026-01-04T06:40:25Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Training Verifiers to Solve Math Word Problems [12.307284507186342]
GSM8Kは8.5Kの高品質な言語学的多様性を持つ小学校数学の単語問題である。
最大のトランスモデルでさえ高いテスト性能を達成できないことがわかった。
性能を向上させるため,モデル完了の正しさを判定するトレーニング検証器を提案する。
論文 参考訳（メタデータ） (2021-10-27T04:49:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。