論文の概要: Into the Unknown: Benchmarking AI agents on open scientific research problems
- arxiv url: http://arxiv.org/abs/2610.19159v1
- Date: Tue, 13 Oct 2026 20:25:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.800997
- Title: Into the Unknown: Benchmarking AI agents on open scientific research problems
- Title（参考訳）: Into the Unknown: Benchmarking AI agent on open scientific research problem
- Abstract要約: Into the Unknownは、エージェントに科学論文を提供するベンチマークであり、フォローアップ論文を書くための研究の方向性とタスクを提供する。
9つのフロンティアエージェントがそれぞれ15のフォローアップを書き、量子コンピューティング、プラズマ物理学、計算化学、材料科学、科学機械学習ドメインにまたがっている。
135件の提出はいずれもすべての条件を満たしておらず、114件が完全性検査に失敗している。
- 参考スコア（独自算出の注目度）: 81.74071899184418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can AI agents carry out research on open scientific problems? We introduce Into the Unknown, a benchmark that provides an agent with a science paper along with a research direction to pursue and tasks it to write a follow-up paper. We work with scientists at US Department of Energy (DOE) national laboratories, who each contribute an unpublished follow-up direction from their own work together with the necessary conditions a submission must meet. While assessing the quality of a follow-up paper is challenging in general, using these conditions to form a rubric makes evaluation more tractable for research problems that have no reference answer. We have nine frontier agents write 15 follow-ups each, spanning quantum computing, plasma physics, computational chemistry, materials science, and scientific machine learning domains. None of the 135 submissions satisfies all the conditions, and 114 fail our integrity check, most often because the paper claims work that was never done or reports numbers that contradict the recorded evidence. Overall, agents readily produce papers that look like follow-ups, but none meets the standard of the domain scientist, leaving substantial headroom. Our code and data are publicly available.
- Abstract（参考訳）: AIエージェントは、オープンな科学的問題の研究を実行できるか?
Into the Unknownは、エージェントに科学論文を提供するベンチマークであり、フォローアップ論文を書くための研究の方向性とタスクを提供する。
我々は、米国エネルギー省(DOE)国立研究所の科学者と協力し、それぞれが提出すべき必要な条件とともに、自身の作業から未発表のフォローアップ方向性を貢献する。
フォローアップ用紙の品質評価は一般的には難しいが,これらの条件を用いてルーリックを形成することにより,参照応答のない研究上の問題に対して,より厳密な評価を行うことができる。
9つのフロンティアエージェントがそれぞれ15のフォローアップを書いており、量子コンピューティング、プラズマ物理学、計算化学、材料科学、科学機械学習ドメインにまたがっている。
135件の提出はいずれもすべての条件を満たしておらず、114件が完全性検査に失敗している。
全体としては、エージェントはフォローアップのように見える書類を簡単に作成するが、ドメイン科学者の基準を満たしていない。
私たちのコードとデータは公開されています。
関連論文リスト
- TheoPhysEval: Assessing AI agents at autonomous theoretical physics problem solving [29.464932609143535]
我々は、検証可能な答えを持つ50の未発表の研究レベルの理論物理学問題を提示する。
我々は、人間のヒントなしに、既製のAIエージェントがこれらの問題に自律的に取り組む能力をテストする。
論文 参考訳（メタデータ） (2026-10-09T13:47:49Z) - ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New Research [142.20765121870303]
我々はScholarCatalystを構築し、207のコンピュータサイエンス論文の184人のリード著者に、候補者がプロジェクトを進めたか、あるいは前進させたかのラベルを付ける。
最初の研究課題として,プロジェクト開始時に利用可能な文献のみから,これらの論文を検索する。
クロード・ファブル 5.1 上に作られたエージェントでさえ、訓練中に完成した書類を見たかもしれないが、わずか 0.51 R@20 である。
論文 参考訳（メタデータ） (2026-10-01T17:59:47Z) - Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers [59.059012465617634]
しかし、AIが生成する科学論文には、既存のトークンベースのAI検出器では容易に検出できない、より複雑なパターンがある。
これらの失敗を、構造、論証、アーティファクトの6つの尺度を通じて科学的にスロープしたものとして評価する。
本研究では,SciSlopHarnessを提案する。SciSlopHarnessは,実験記録が変更をサポートする場合にのみスロープを修正するための固定LDMをガイドするフレームワークである。
論文 参考訳（メタデータ） (2026-09-30T18:16:42Z) - AI Agent Swarms as Researchers: Progress, Challenges, and Open Questions [0.0]
私たちは、市販のコーディングエージェントの群れに、スコープの短いステートメントを与えました。
数週間のうちに、エージェントは研究ノート、紙の長さの草稿、公式な証明を制作した。
これまでのところ、大きな科学的誤りは見つからなかった。
論文 参考訳（メタデータ） (2026-09-28T17:47:30Z) - Can AI agents conduct open-ended AI research? Early evidence from two case studies [16.75408134467252]
エージェントがオープンエンドAI研究を実行できるかどうかの証拠は薄い。
現在の評価では、オープンエンドの調査を除外する狭いタスクでテストエージェントをテストするか、あるいは盲目のピアレビューにAI生成論文を提出する。
我々は、AI R&D自動化に向けた進歩を測定するための第3の方法を紹介します。
論文 参考訳（メタデータ） (2026-07-29T17:57:19Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。
各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
論文 参考訳（メタデータ） (2026-05-28T16:27:40Z) - ReplicationBench: Can AI Agents Replicate Astrophysics Research Papers? [29.17900668495058]
本稿では、フロンティアAIエージェントの評価フレームワークであるReplicationBenchを紹介する。
天体物理学の文献から得られた研究論文全体を、エージェントが複製できるかどうかを検査する。
R ReplicationBenchは、論文スケールで専門家が検証した天体物理学の研究タスクの最初のベンチマークを確立している。
論文 参考訳（メタデータ） (2025-10-28T16:21:19Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。