論文の概要: OEIS Open: How many conjectures can language models turn into theorems?

• arxiv url: http://arxiv.org/abs/2608.11941v2
• Date: Thu, 13 Aug 2026 09:23:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 14:00:09.83963
• Title: OEIS Open: How many conjectures can language models turn into theorems?
• Title（参考訳）: OEIS Open: 言語モデルは、何つの予想を定理に変えることができるのか?
• Abstract要約: OEIS Open は OEIS の 492 個のオープンな数学的予想に基づくベンチマークである。 最小限のツールセットを備えたLMは、これらの予想の147を1回の試行で50ドルの予算で解決し、OEIS Openで30%のスコアを得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We construct OEIS Open, a benchmark based on 492 open mathematical conjectures from the OEIS, formalized in Lean by Tsoukalas et al. Whereas these conjectures had previously been attempted only with a bespoke agent, our open-source evaluation code runs any generic language model (LM) against them, and is secure against LM cheating attempts. We find that LMs equipped with a minimal set of tools resolve 147 of these conjectures with a budget of \$50 per attempt, scoring 30% on OEIS Open. OEIS Open Lite is a random subset of 100 conjectures for cheaper evaluation. When evaluated with a budget of \$200 per attempt, the best current LM scores 44% on OEIS Open Lite. Giving LMs access to the mathematics literature via 476,000 papers from arXiv did not increase performance on OEIS Open Lite, and nor did using more sophisticated agent loops. The conjectures covered in this work are of uncertain mathematical significance, and most have likely received little previous attention. Nevertheless, our results show that LMs can resolve open research conjectures autonomously and at modest cost.
• Abstract（参考訳）: 我々は,OEIS による 492 個のオープンな数学的予想に基づくベンチマーク OEIS Open を構築した。これらの予想は以前,bespoke エージェントでのみ試みられていたが,我々のオープンソース評価コードは汎用言語モデル (LM) に対して実行しており,LM の不正行為に対して安全である。 最小限のツールセットを備えたLMは、これらの予想の147を1回の試行で50ドルという予算で解決し、OEIS Openで30%のスコアを得た。 OEIS Open Liteは、より安価な評価のための100の予想のランダムなサブセットである。 1回の試行で200ドルという予算で評価すると、最高のLMはOEIS Open Liteで44%である。 arXiv から 476,000 の論文を通じて LM が数学文献にアクセスできるようにしても OEIS Open Lite の性能は向上せず、より洗練されたエージェントループも使用しなかった。 この研究で取り上げられた予想は不確実な数学的意義を持ち、ほとんどは以前ほとんど注目されなかった。 いずれにせよ,本研究の結果は,オープンな研究予想を自律的かつ控えめなコストで解決できることを示唆している。

関連論文リスト

• Explanations, Prompts, and Formalizations: Arguments for New Norms in LLM-Enabled Mathematical Research [0.0]
  数学コミュニティは、そのような結果の公表に関する規範と勧告を定式化した。 どちらも不可欠である、と私は主張する。 また, LLMで得られた結果を理解することは困難であるため, 直感的な説明を考案する責任がある。
  論文  参考訳（メタデータ） (2026-08-29T18:56:46Z)
• Exponentially Fewer-Server PIR from Sparser $S$-Decoding Polynomials [2.5782420501870296]
  一定の$s$に対して、$s$サーバのプライベート情報検索プロトコルが存在することを示す。 我々の数論予想は既存の予想によって示唆される。
  論文  参考訳（メタデータ） (2026-07-24T06:59:30Z)
• LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks [85.86474267842907]
  大規模言語モデル(LLM)は、強力な非公式な数学的推論を示すが、リーンのような形式言語で検証可能な証明を生成するのに苦労している。 本稿では,汎用基礎モデルによる自動形式定理証明の最先端性能を実現するためのエージェントフレームワークであるLEAPを提案する。
  論文  参考訳（メタデータ） (2026-06-02T08:16:42Z)
• Advancing Mathematics Research with AI-Driven Formal Proof Search [20.297700405590156]
  大規模言語モデル (LLMs) は、数学的な推論においてますます優れているが、その信頼性の欠如は数学研究における実用性を制限している。 緩和はLLMを使ってリーンのような言語で公式な証明を生成します。 オープンな問題を解くための,本手法の大規模評価を行う。
  論文  参考訳（メタデータ） (2026-05-21T17:24:57Z)
• BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs [5.347237827669862]
  大規模言語モデル(LLM)におけるサイコファンティック行動を評価するための最初のベンチマークであるBrokenMathを紹介する。 我々は最先端のLCMとエージェントシステムの評価を行い、最も優れたモデルであるGPT-5を用いて、梅毒の29%の回答が得られた。
  論文  参考訳（メタデータ） (2025-10-06T11:41:46Z)
• Mining Math Conjectures from LLMs: A Pruning Approach [0.0]
  本稿では,Large Language Models (LLMs) を用いた数理予想生成手法を提案する。 我々は、ChatGPT, Gemini, Claude などの LLM がどのようにして予想を生成するかを示す。 以上の結果から,LLM は,コード実行に制限があるにも関わらず,基本的ではないものの,正当性あるいは正当性がある,という予想を導出できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-09T19:00:38Z)
• OpenScholar: Synthesizing Scientific Literature with Retrieval-augmented LMs [151.79792315631965]
  我々は,4500万件のオープンアクセス論文と引用支援の回答を関連づけることで,科学的クエリに答える特殊な検索拡張LMであるOpenScholarを紹介した。 ScholarQABench では OpenScholar-8B が GPT-4o を5%、PaperQA2 を7% 上回っている。 OpenScholarのデータストア、レトリバー、セルフフィードバック推論ループも、既製のLMを改善している。
  論文  参考訳（メタデータ） (2024-11-21T15:07:42Z)
• Can LLMs Master Math? Investigating Large Language Models on Math Stack Exchange [25.419977967846144]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な機能を示した。 本稿では、複雑な数学的問題解決をナビゲートする上でのLLMの限界について考察する。
  論文  参考訳（メタデータ） (2024-03-30T12:48:31Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• LeanDojo: Theorem Proving with Retrieval-Augmented Language Models [72.54339382005732]
  大規模言語モデル(LLM)は、Leanのような証明アシスタントを使って形式的な定理を証明することを約束している。 既存のメソッドは、プライベートコード、データ、計算要求のために、複製や構築が難しい。 本稿では、ツールキット、データ、モデルからなるオープンソースのリーンツールキットであるLeanDojoを紹介します。 本研究では,LLM ベースの証明器 ReProver を開発した。
  論文  参考訳（メタデータ） (2023-06-27T17:05:32Z)
• Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
  本研究では,ALIESと呼ばれる新しい手法を提案する。 入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。 元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
  論文  参考訳（メタデータ） (2023-05-24T06:16:44Z)
• Counterexamples to the Low-Degree Conjecture [80.3668228845075]
  ホプキンスの予想は、ある高次元仮説テスト問題に対して、非時間アルゴリズムはいわゆる「単純な統計」よりも優れていると仮定する。 この予想は、統計対計算のトレードオフを理解しようとする最近の研究のラインを囲む信念を定式化する。
  論文  参考訳（メタデータ） (2020-04-17T21:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。