論文の概要: OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences

• arxiv url: http://arxiv.org/abs/2610.11118v1
• Date: Thu, 08 Oct 2026 02:43:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.7457
• Title: OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences
• Title（参考訳）: OpenProblemBench: 基礎理論科学におけるオープン問題に関するAIベンチマーク
• Abstract要約: OpenProblemBenchは数学と理論物理学の文献から引き出された82の未解決問題のベンチマークである。 4つの評価器モデルは、参照解を使わずに各申請の正確性、完全性、進捗度を独立に評価する。 GPT-6-Astraは、評価されたフルサイズのオープンモデルの5.5-6.7%、Flashモデルの2.4-3.7%に対して、判定された平均解率は14.0%である。
• 参考スコア（独自算出の注目度）: 10.103374997994948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The next frontier for artificial general intelligence is tackling unresolved scientific problems, calling for benchmarks that assess progress beyond established knowledge. We introduce OpenProblemBench, a benchmark of 82 unresolved problems drawn from the mathematics and theoretical physics literature. Each problem supplies the research context, assumptions, and prior progress needed to investigate the question. We select problems whose proposed solutions admit comparatively clear checks of their decisive mathematical or computational claims. Four evaluator models independently assess the correctness, completeness, and degree of progress of each submission without reference solutions. Across seven evaluated configurations, GPT-6-Astra achieves the highest mean judged solve rate of 14.0%, compared with 5.5-6.7% for the evaluated full-size open models and 2.4-3.7% for Flash models. Case comparisons connect stronger outcomes to changes in problem representation, general arguments that extend beyond finite evidence, and proofs of the steps needed to complete a solution. By grounding evaluation in questions arising from the research literature, OpenProblemBench provides a setting for investigating the capabilities and limitations of AI as a contributor to foundational theoretical science.
• Abstract（参考訳）: 人工知能の次のフロンティアは未解決の科学的問題に取り組むことだ。 数学と理論物理学の文献から引き出された82の未解決問題のベンチマークであるOpenProblemBenchを紹介する。 それぞれの問題は、質問を調査するために必要な研究状況、仮定、事前の進捗を提供する。 提案した解が決定的な数学的あるいは計算的主張の比較的明確なチェックを許容する問題を選択する。 4つの評価器モデルは、参照解を使わずに各申請の正確性、完全性、進捗度を独立に評価する。 7つの評価された構成の中で、GPT-6-Astraは、評価されたフルサイズのオープンモデルの5.5-6.7%、Flashモデルの2.4-3.7%に対して、判定された平均解率は14.0%である。 ケース比較は、より強い結果と問題表現の変化、有限の証拠を超えて広がる一般論証、解を完成させるために必要なステップの証明とを結びつける。 OpenProblemBenchは、研究文献から生じる質問の評価に基づいて、基礎理論科学への貢献者としてAIの能力と限界を調査するための設定を提供する。

関連論文リスト

• IdeaScientist: Orchestrating Agents for Grounded Scientific Ideation [53.38412637382984]
  本稿では,イデオロギーをギャップ発見,イノベーション,レポート作成に分解し,各役割を強化学習で訓練するIdeanScientistを紹介する。 これらの役割は、関連する作業の限界を特定し、類似した問題設定から解の直観を引き出し、それらの直観を完全な研究提案へと発展させる。 ドメイン間の洞察の発見を容易にするため、検索、トレーニング、時間的に制御された評価のための277万の研究思想のコーパスであるSvalbard Idea Vaultを構築した。
  論文  参考訳（メタデータ） (2026-10-02T21:35:55Z)
• AI and Human Approaches to Mathematical Problem Solving [2.799791426680068]
  この研究は、公的なAI研究のアカウントと、そのような11の問題についての人間の文献を比較した。 人間のコーパスには58の論文が含まれており、後にAIソースが解決、不承認、あるいは実質的な進歩として報告したのと同じ数学的標的に対処している。 AIアカウントは問題を閉じて再結合することに重点を置いているのに対し、数学論文では、結果が累積的な知識になるための手順、限界、研究の機会をより広範囲に文書化している。
  論文  参考訳（メタデータ） (2026-09-15T19:40:34Z)
• How Good Are Frontier Models at Physics? Expert Re-Grading Reveals Broken Evaluations and Near-Saturation of Leading Benchmarks [60.853503196898906]
  主要な物理学ベンチマークに関する低報告のスコアは、フロンティア言語モデルが高度な物理学に苦しむことを示唆している。 我々は,6つの広く使用されている物理ベンチマークでフロンティアモデルを評価し,専門家と評価することで,これらの知見を再考する。
  論文  参考訳（メタデータ） (2026-09-11T16:06:50Z)
• RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
  RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。 我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
  論文  参考訳（メタデータ） (2026-01-14T11:37:00Z)
• The Impossible Test: A 2024 Unsolvable Dataset and A Chance for an AGI Quiz [0.0]
  我々は、675の根本的な解決不可能な問題に対して不確実性を認識できる大規模言語モデル(LLM)の能力を評価する。 62-68%の精度で得られた最良のモデルは、生物学から哲学、数学まで様々な分野において未知であった。
  論文  参考訳（メタデータ） (2024-11-20T04:12:29Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
  我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。 最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。 GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
  論文  参考訳（メタデータ） (2024-02-21T18:49:26Z)
• Examining the Potential and Pitfalls of ChatGPT in Science and Engineering Problem-Solving [1.3628066756509705]
  この研究では、OpenAIのChatGPTが様々なタイプの物理問題を解く能力について検討している。 ChatGPTは、よく特定された問題の62.5%をうまく解決することができたが、その精度は未特定問題に対して8.3%にまで低下した。
  論文  参考訳（メタデータ） (2023-10-12T23:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。