論文の概要: OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery
- arxiv url: http://arxiv.org/abs/2610.37739v1
- Date: Tue, 27 Oct 2026 16:49:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.309539
- Title: OpenFrontiers: A Collection of Open Research Problems and a Benchmark for Scientific Rediscovery
- Title（参考訳）: OpenFrontiers: オープンリサーチの問題集と科学的再検討のためのベンチマーク
- Abstract要約: OpenFrontiersは、オープンな研究問題の構造化されたコーパスと、数学における解決された問題の振り返りベンチマークを組み合わせた、学際的なリソースである。
ベンチマークには200の問題が含まれており、2026年に110が解決され、90がまだオープンである。
本評価プロトコルでは, 閉鎖型, 凍結型, ライブウェブの条件下で, 独立した2つのチェッカーを用いた定式証明を定式化している。
- 参考スコア（独自算出の注目度）: 14.265023575624008
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown increasing promise in research-level problem solving, yet a comprehensive collection of such problems is still missing, and evaluating them on research-level problems remains challenging. We introduce OpenFrontiers, a cross-disciplinary resource that combines a structured corpus of open research problems with a retrospective benchmark of recently resolved problems in mathematics. The corpus records problem statements, context, progress, and other information for 12,151 problems. The benchmark contains 200 problems, 110 resolved in 2026 and 90 still open, each with a Lean~4 statement checked by automated probes and two independent reviews; a subset HQ-50 further filters based on quality score, etc. Our evaluation protocol grades formal proofs with two independent checkers in an isolated sandbox under closed-book, frozen-retrieval, and live-web conditions. Evaluating seven LLM agents on the HQ-50 subset under a standardized budget, we find that closed-book rediscovery is rare, at most 7 of 40 resolved problems, whereas live-web success mostly reflects retrieval of published solutions. By linking a broad research-problem corpus to a formally graded evaluation subset with documented solutions, OpenFrontiers provides a foundation for measuring research-level rediscovery and studying progress toward solving currently open scientific problems. The dataset and benchmark could be found in https://huggingface.co/collections/FlippyDora/openfrontiers.
- Abstract（参考訳）: 大規模言語モデル(LLM)は研究レベルの問題解決の公約が増加しているが、そのような問題の包括的収集はいまだに欠けており、研究レベルの問題に対してそれらを評価することは依然として困難である。
オープンリサーチ問題の構造的コーパスと,最近解決された数学問題の振り返りベンチマークを組み合わせた,学際横断的なリソースであるOpenFrontiersを紹介する。
コーパスは、12,151の問題について問題文、文脈、進捗、その他の情報を記録する。
ベンチマークには200の問題が含まれており、2026年に110が解決し、90がまだオープンである。それぞれにLean～4のステートメントが自動プローブによってチェックされ、2つの独立したレビューがある。
本評価プロトコルでは, 閉鎖型, 凍結型, ライブウェブの条件下で, 孤立したサンドボックス内の2つの独立したチェッカーを用いて, 公式な証明を格付けする。
HQ-50 サブセットの 7 件の LLM エージェントを標準化した予算で評価した結果,クローズドブックの再検討は稀であり,40 件中 7 件が解決された。
OpenFrontiersは、幅広い研究成果のコーパスを、正式な評価サブセットと文書化されたソリューションを結びつけることによって、研究レベルの再検討を計測し、現在オープンな科学問題の解決に向けた進歩を研究するための基盤を提供する。
データセットとベンチマークはhttps://huggingface.co/collections/FlippyDora/openfrontiersで確認できる。
関連論文リスト
- PACE: Research Proving Agent for Adaptive Conjecture Exploration [10.110678097983186]
PACEは、構造化された研究ループを通じて予測研究を支援する研究保護剤である。
エビデンス追跡メモリは、研究中に生じる仮定と依存関係を記憶する。
ResearchProofBenchは最適化に焦点を当てた応用数学のベンチマークである。
論文 参考訳（メタデータ） (2026-10-24T14:13:06Z) - AlphaIdeaBench: Benchmarking Automated Research Idea Generation under Feasibility Constraints with Peer Review Alignment [22.132610448972276]
AlphaIdeaBenchは、明示的なリソース予算と共有提案スキーマを組み合わせた100のタスクのベンチマークである。
LLM審査員は、妥当性、ノベルティ、実現可能性に関する12の次元で各提案をスコアする。
ICLR 2026, NeurIPS 2025, ICML 2025の600論文のレビュアーコメントから得られたスコアと, 4つの新奇な軸(確率, 方法, シナリオ, 洞察)のスコアを比較した。
論文 参考訳（メタデータ） (2026-10-24T12:52:49Z) - ReuF2F: Benchmarking Coding Agents on Formalized Undergraduate Research Problems [45.6989701160515]
我々はReuF2Fを紹介します。ReuF2Fは、REU(Research Experiences for Undergraduates)から引き出された244の形式化されたオープンな問題のリーン4ベンチマークです。
標準のコーディングエージェント評価設定を採用し、各問題とその論理的否定を、Dockerコンテナ内のリーンプロジェクトに配置します。
評価の結果,最も優れたモデルでも40%しか解決できず,形式化されたオープンリサーチ問題の改善の余地が残されていることがわかった。
論文 参考訳（メタデータ） (2026-10-19T17:52:28Z) - OpenProblemBench: Benchmarking AI on Open Problems in the Foundational Theoretical Sciences [10.103374997994948]
OpenProblemBenchは数学と理論物理学の文献から引き出された82の未解決問題のベンチマークである。
4つの評価器モデルは、参照解を使わずに各申請の正確性、完全性、進捗度を独立に評価する。
GPT-6-Astraは、評価されたフルサイズのオープンモデルの5.5-6.7%、Flashモデルの2.4-3.7%に対して、判定された平均解率は14.0%である。
論文 参考訳（メタデータ） (2026-10-08T02:43:51Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Soohak: A Mathematician-Curated Benchmark for Evaluating Research-level Math Capabilities of LLMs [86.49905745865038]
Soohakは64人の数学者によって新たに書かれた439プロブレムのベンチマークである。
データセットは2026年後半に公開され、中間で要求に応じてモデル評価が利用可能になる。
論文 参考訳（メタデータ） (2026-05-09T17:14:22Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Evaluating and Improving Large Language Models for Competitive Program Generation [18.564450345359468]
本研究では,大規模言語モデル(LLM)を現実の競合プログラミング問題の解法として評価・改善することを目的とする。
2024年に開催された9つの地域ICPC/CCPCコンテストから117の問題を収集し、4つのフィルタリング基準を設計し、80の問題をキュレートしたベンチマークを構築した。
我々は,オンライン審査員(OJ)プラットフォームを通じて,その競争プログラム生成能力を評価し,慎重に設計された基本的なプロンプトで指導する。
論文 参考訳（メタデータ） (2025-06-28T17:18:23Z) - SUPER: Evaluating Agents on Setting Up and Executing Tasks from Research Repositories [55.161075901665946]
Superは、機械学習(ML)と自然言語処理(NLP)の研究リポジトリを扱う研究者が直面する現実的な課題を捉えることを目的としている。
本ベンチマークでは,注釈付きエキスパートソリューションを用いたエンドツーエンド問題45,特定の課題に焦点をあてたエキスパートソリューションから導いた152,大規模開発のための602の問題を自動生成する。
我々は、最先端のアプローチが、最良のモデル(GPT-4o)でこれらの問題を解決するのに苦労していることを示し、エンド・ツー・エンドの16.3%と46.1%のシナリオを解決した。
論文 参考訳（メタデータ） (2024-09-11T17:37:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。