論文の概要: AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era
- arxiv url: http://arxiv.org/abs/2609.07611v1
- Date: Mon, 07 Sep 2026 15:19:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.454609
- Title: AgentIdeaBench: Benchmarking Scientific Ideation in the Agent Era
- Title（参考訳）: AgentIdeaBench:エージェント時代における科学的思想のベンチマーク
- Abstract要約: AgentIdeaBenchは、静的観測とアクティブ探索という2つの一致した条件下で科学的思考を評価するベンチマークである。
5つの分野にまたがる40の高密度サブフィールドにおける33個のLDMの静的アクティブ評価を一致させた。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
- 参考スコア（独自算出の注目度）: 55.37558486468993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific ideation is the capacity to formulate novel and testable hypotheses from scientific evidence, and autonomous AI scientists depend on it. Existing evaluations largely assess it by asking models to generate ideas from a static, curated set of reference papers. That passive setup departs from the retrieval-and-reasoning workflow of modern AI scientists, and it becomes less discriminative as models improve. We introduce AgentIdeaBench, a multidisciplinary benchmark that evaluates scientific ideation under two matched settings, static observation and active exploration. We report matched Static-Active evaluations for 33 LLMs across 40 densely scored subfields spanning five disciplines, using a multidimensional, literature-verified scoring framework whose critics assess originality against retrieved prior art. Active exploration reveals considerably more capability headroom, and that headroom is unevenly distributed across models. Performance scales about twice as fast as under static observation, and the exploration gain is capability-gated, favoring the strongest models over the weakest. The gain reflects better grounding, improving feasibility, clarity, and specificity while leaving measured originality unchanged under our critics. We further explore Scientific World Modeling, a generation-time loop that refines a draft hypothesis through structured thought experiments. It benefits mid-capability models, and its impact diminishes among frontier models that appear to have internalized such reasoning patterns already. AgentIdeaBench gives future work on scientific ideation a measurement basis suited to the agent era.
- Abstract（参考訳）: 科学的思考は、科学的証拠から新規で検証可能な仮説を定式化する能力であり、自律的なAI科学者はそれに依存する。
既存の評価は、静的にキュレートされた参照論文のセットからアイデアを生成するようモデルに求めることで、大きく評価する。
この受動的セットアップは、現代のAI科学者の検索と推論のワークフローから離れ、モデルの改善に伴って差別的になりがちだ。
我々はAgentIdeaBenchを紹介した。AgentIdeaBenchは、静的な観測とアクティブな探索という2つの一致した条件下で科学的思考を評価するマルチディシプリナのベンチマークである。
本報告では5分野にまたがる40分野にわたる33のLLMに対する静的・アクティベート評価を,検索した先行技術に対する独創性を評価する多次元文献検証フレームワークを用いて比較した。
アクティブな探索により、ヘッドルームの能力は大幅に向上し、ヘッドルームはモデル間で不均一に分散される。
パフォーマンスは静的観測の約2倍の速さでスケールし、探索のゲインは能力に恵まれており、最も弱いモデルよりも強いモデルを好む。
この効果は、より良い根拠付け、実現可能性、明確性、特異性の向上を反映し、測定された独創性は、われわれの批評家の下では変わらない。
我々はさらに、構造化思考実験を通じてドラフト仮説を洗練させる世代間ループであるScientific World Modelingを探求する。
ミッドキャパビリティモデルにはメリットがあり、その影響は、すでにそのような推論パターンを内部化しているように見えるフロンティアモデルの間で減少している。
AgentIdeaBenchは、今後、エージェント時代に適した測定基準として科学的思考に関する研究を行う。
関連論文リスト
- Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study [0.3683202928838613]
我々は,1つの汎用大規模言語モデルが,長期的ニューラルアーキテクチャ設計問題において唯一の研究者として機能する場合に何が起こるかを研究する。
この研究は3つのフェーズから構成され、人間の宣言された遷移によって分離され、エージェントのツール表面や問題スケールを徐々に拡大する。
本研究は, ワークフロー設計がエージェント能力に匹敵する影響力があることを結論し, 多様な探索, 予算付きムーンショット仮説, 明示的なフォーク, ルール対応の再検証を提案する。
論文 参考訳（メタデータ） (2026-08-03T09:56:34Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳（メタデータ） (2026-06-30T10:54:16Z) - FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games [2.959715295394151]
従来のWason 2-4-6タスクに触発された仮説駆動推論のための評価フレームワークであるFALSIFYBENCHを紹介する。
このタスクは、仮説の生成、証拠収集、そして証拠の確認と不確認の両方に対応する信念の修正という、科学的推論の重要な要素を捉えている。
モデルファミリとスケールをまたいだ12 LLM の評価は、推論モデルが命令調整モデルよりも一般的に強力な科学的推論モデルであることを示しているが、最適性能に近づくモデルはない。
論文 参考訳（メタデータ） (2026-06-03T11:33:17Z) - ProjectionBench: Evaluating Scientific Hypothesis Generation in LLMs Under Progressive Information Disclosure [0.0]
科学的発見と推論におけるモデル性能を評価するためのベンチマークフレームワークを提案する。
GPT-5, GPT-5.4, Gemini 2.5 pro, Gemini 3.1 pro Previewを, 生体活性物質, 機械材料, ナノ材料にまたがる45紙で評価した。
論文 参考訳（メタデータ） (2026-05-28T17:38:19Z) - MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation [20.62843594129358]
分子構造解明のための新規なエージェントベース評価フレームワークであるMolQuestを紹介する。
既存のデータセットとは異なり、MolQuestは分子構造解明をマルチターンインタラクティブタスクとして定式化している。
その結果、現代のフロンティアモデルでは、真正の科学的シナリオにおいて重大な制限が示されることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-26T09:57:17Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - Evaluating Large Language Models in Scientific Discovery [91.732562776782]
大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。
生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。
このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
論文 参考訳（メタデータ） (2025-12-17T16:20:03Z) - Dynamic Knowledge Exchange and Dual-diversity Review: Concisely Unleashing the Potential of a Multi-Agent Research Team [53.38438460574943]
IDVSCIは、大規模言語モデル(LLM)上に構築されたマルチエージェントフレームワークである。
動的知識交換機構とデュアルダイバーシティ・レビュー・パラダイムという2つの重要なイノベーションが組み込まれている。
結果は、IDVSCIが2つのデータセットで常に最高のパフォーマンスを達成していることを示している。
論文 参考訳（メタデータ） (2025-06-23T07:12:08Z) - LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。
我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。
我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2024-12-23T14:13:44Z) - ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models [56.08917291606421]
ResearchAgentは、新しい作品のアイデアと運用のためのAIベースのシステムである。
ResearchAgentは、新しい問題を自動で定義し、手法と設計実験を提案し、繰り返し修正する。
我々は、複数の分野にわたる科学論文に関するResearchAgentを実験的に検証した。
論文 参考訳（メタデータ） (2024-04-11T13:36:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。