論文の概要: Beyond Selected Breakthroughs: Evaluating Language Models on Randomly Sampled Mathematical Conjectures

• arxiv url: http://arxiv.org/abs/2610.40382v1
• Date: Thu, 29 Oct 2026 16:24:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.112493
• Title: Beyond Selected Breakthroughs: Evaluating Language Models on Randomly Sampled Mathematical Conjectures
• Title（参考訳）: 選択されたブレークスルーを超えて:ランダムにサンプリングされた数学的概念に基づく言語モデルの評価
• Abstract要約: オープンな数学的問題の根源として予想を使い、3つのパスでこれらの予想のうち200のランダムなサンプルにフロンティア GPT モデルを適用する。 LLMが解を生成する問題の種類とそれらの解の特徴を解析する。 我々は、解の新規性を推定し、解が既存の文献を引用し、どのように関連づけるかを評価し、提案された解が予想の誤りまたは不特定性に依存するかどうかを分析する。
• 参考スコア（独自算出の注目度）: 8.185232239520445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The last year has seen a shift in AI-assisted mathematics, with frontier language models producing proofs of and counterexamples to long-standing open conjectures. However, studying only the current set of major breakthroughs provides an incomplete picture of LLM capabilities and the computational resources needed to achieve reported results. To address this, we introduce a new dataset, OpenConjecture, which collects conjectures from mathematics papers published on the arXiv since February 2026. We use these conjectures as a source of open mathematical problems, and apply frontier GPT models to a random sample of 200 of these conjectures over three passes using a reproducible protocol without problem-specific mathematical guidance. Rather than attempt expert verification of these candidate solutions, we analyze the types of problems for which LLMs produce solutions and the characteristics of these solutions. The models we test produce candidate solutions for roughly 60% of the conjectures, with counterexamples about 1.3 times more common than proofs. We estimate solution novelty, assess how solutions cite and relate to existing literature, and analyze whether the proposed resolution relies on either an error in or underspecification of the conjecture. We find that models sometimes propose resolutions that are outside the authors' intent (e.g., proposing the trivial group as a counterexample) and that a number of proofs follow closely from existing results, but that some resolutions exhibit at least moderate novelty. Our findings underscore the need for evaluations that go beyond correctness to assess fidelity to the intended statement, attribution, and the nature of the mathematical contribution.
• Abstract（参考訳）: 昨年はAI支援数学が変化し、フロンティア言語モデルが証明と反例を生み出した。 しかし、現在の大きなブレークスルーの集合のみを研究することで、LCMの能力と、報告された結果を達成するために必要な計算資源が不完全である。 これを解決するために,2026年2月からarXivで出版された数学論文から推測を収集する新しいデータセットOpenConjectureを導入する。 我々はこれらの予想をオープンな数学的問題の根源として利用し、問題固有の数学的ガイダンスのない再現可能なプロトコルを用いて、これらの予想のうち200のランダムなサンプルにフロンティア GPT モデルを適用する。 これらの候補解のエキスパート検証を試みるのではなく、LLMが解を生成する問題のタイプとそれらの解の特徴を分析する。 私たちが試したモデルは予想の約60%の候補解を生成し、反例は証明の約1.3倍の一般性を持つ。 我々は、解の新規性を推定し、解が既存の文献を引用し、どのように関連づけるかを評価し、提案された解が予想の誤りまたは不特定性に依存するかどうかを分析する。 モデルが著者の意図の外側にある分解(例えば、自明な群を反例として提案する)を提案していることや、いくつかの証明が既存の結果から密接に従っていることが分かるが、いくつかの分解は少なくとも適度な新規性を示す。 本研究は, 意図した文に対する忠実さ, 帰属性, 数学的貢献の性質を評価するために, 正当性を超える評価の必要性を浮き彫りにした。

関連論文リスト

• LeanConjecturer: Automatic Generation of Mathematical Conjectures for Theorem Proving [6.220998637943786]
  LeanConjecturerは、Large Language Models(LLMs)を使用して、Lean 4で大学レベルの数学予想を自動的に生成するパイプラインである。 反復生成と評価により、LeanConjecturerは40のMathlibシードファイルから12,289の予想を生成し、3,776は構文的に有効で非自明であると同定された。
  論文  参考訳（メタデータ） (2025-06-27T08:17:18Z)
• Mathematical Proof as a Litmus Test: Revealing Failure Modes of Advanced Large Reasoning Models [11.250861762443801]
  RFMDataset(Reveal Failure Modes)は200種類の数学的証明問題の集合である。 先進モデルの性能を徹底的に評価する。 解析により,現在の大規模推論モデルの基本的制約を示す10種類のきめ細かい誤差型が明らかになった。
  論文  参考訳（メタデータ） (2025-06-20T16:14:18Z)
• Solving Inequality Proofs with Large Language Models [42.667163027148916]
  不等式証明は様々な科学・数学分野において不可欠である。 これにより、大きな言語モデル(LLM)の需要が高まるフロンティアとなる。 我々は、Olympiadレベルの不平等を専門家が計算したデータセットであるIneqMathをリリースした。
  論文  参考訳（メタデータ） (2025-06-09T16:43:38Z)
• Optimal Multi-Distribution Learning [88.3008613028333]
  マルチディストリビューション学習は、$k$の異なるデータ分散における最悪のリスクを最小限に抑える共有モデルを学ぶことを目指している。 本稿では, (d+k)/varepsilon2の順に, サンプルの複雑さを伴って, ヴァレプシロン最適ランダム化仮説を導出するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-08T16:06:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。