論文の概要: HeurekaBench: A Benchmarking Framework for AI Co-scientist

• arxiv url: http://arxiv.org/abs/2601.01678v1
• Date: Sun, 04 Jan 2026 22:16:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-06 16:25:22.637092
• Title: HeurekaBench: A Benchmarking Framework for AI Co-scientist
• Title（参考訳）: HeurekaBench: AIの共同研究者のためのベンチマークフレームワーク
• Authors: Siba Smarak Panigrahi, Jovana Videnović, Maria Brbić,
• Abstract要約: HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。 単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。 批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
• 参考スコア（独自算出の注目度）: 2.206319727896241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-based reasoning models have enabled the development of agentic systems that act as co-scientists, assisting in multi-step scientific analysis. However, evaluating these systems is challenging, as it requires realistic, end-to-end research scenarios that integrate data analysis, interpretation, and the generation of new insights from the experimental data. To address this limitation, we introduce HeurekaBench, a framework to create benchmarks with exploratory, open-ended research questions for experimental datasets. Each such question is grounded in a scientific study and its corresponding code repository, and is created using a semi-automated pipeline that leverages multiple LLMs to extract insights and generate candidate workflows, which are then verified against reported findings. We instantiate the framework in single-cell biology to obtain sc-HeurekaBench benchmark and use it to compare state-of-the-art single-cell agents. We further showcase the benefits of our benchmark for quantitatively analyzing current design choices in agentic systems. We find that the addition of a critic module can improve ill-formed responses for open-source LLM-based agents by up to 22% and close the gap with their closed-source counterparts. Overall, HeurekaBench sets a path toward rigorous, end-to-end evaluation of scientific agents, grounding benchmark construction in real scientific workflows.
• Abstract（参考訳）: LLMベースの推論モデルにより、多段階の科学分析を補助し、共同科学者として機能するエージェントシステムの開発が可能になった。 しかし、これらのシステムを評価することは、データ分析、解釈、実験データからの新たな洞察を生み出すために、現実的なエンドツーエンドの研究シナリオを必要とするため、難しい。 この制限に対処するため、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークであるHeurekaBenchを紹介します。 それぞれの質問は、科学的研究とそれに対応するコードリポジトリに基礎を置いており、複数のLSMを活用して洞察を抽出し、候補ワークフローを生成する半自動化パイプラインを使用して作成され、報告された結果に対して検証される。 単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。 さらに、エージェントシステムにおける現在の設計選択を定量的に分析するためのベンチマークの利点を示す。 批判モジュールの追加により、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。 全体として、HeurekaBenchは科学的エージェントの厳格でエンドツーエンドな評価への道を設定し、実際の科学的ワークフローにおけるベンチマーク構築を基礎にしている。

関連論文リスト

• An Agentic Framework for Autonomous Materials Computation [70.24472585135929]
  大規模言語モデル(LLM)は、科学的発見を加速するための強力なツールとして登場した。 近年の進歩はLLMをエージェントフレームワークに統合し、複雑な科学実験のための検索、推論、ツールの使用を可能にしている。 本稿では,第一原理計算の信頼性向上を目的としたドメイン特化エージェントを提案する。
  論文  参考訳（メタデータ） (2025-12-22T15:03:57Z)
• SelfAI: Building a Self-Training AI System with LLM Agents [79.10991818561907]
  SelfAIは、高レベルの研究目的を標準化された実験構成に変換するためのUser Agentを組み合わせた、一般的なマルチエージェントプラットフォームである。 実験マネージャは、連続的なフィードバックのための構造化知識ベースを維持しながら、異種ハードウェアをまたいだ並列かつフォールトトレラントなトレーニングを編成する。 回帰、コンピュータビジョン、科学計算、医用画像、薬物発見ベンチマークなどを通じて、SelfAIは一貫して高いパフォーマンスを達成し、冗長な試行を減らしている。
  論文  参考訳（メタデータ） (2025-11-29T09:18:39Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• LLM Agent Swarm for Hypothesis-Driven Drug Discovery [2.7036595757881323]
  ファーマシュワーム(PharmaSwarm)は、新規な薬物標的および鉛化合物の仮説を提唱し、検証し、洗練するために、特殊な「エージェント」を編成する統合マルチエージェントフレームワークである。 PharmaSwarmはAIの副操縦士として機能することで、翻訳研究を加速し、従来のパイプラインよりも効率的に高信頼の仮説を提供することができる。
  論文  参考訳（メタデータ） (2025-04-24T22:27:50Z)
• BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology [4.099098082010236]
  LLM(Large Language Models)とLLMをベースとしたエージェントは、科学研究の加速に大きな期待を示している。 本稿では,バイオインフォマティクスベンチマーク(BixBench)について述べる。 オープンソースのカスタムエージェントフレームワークを用いて,2つのフロンティアLCMの性能評価を行った。
  論文  参考訳（メタデータ） (2025-02-28T18:47:57Z)
• IdeaBench: Benchmarking Large Language Models for Research Idea Generation [19.66218274796796]
  大規模言語モデル(LLM)は、人々が人工知能(AI)システムと対話する方法を変革した。 包括的データセットと評価フレームワークを含むベンチマークシステムであるIdeanBenchを提案する。 私たちのデータセットは、さまざまな影響力のある論文のタイトルと要約と、参照された作品で構成されています。 まず、GPT-4oを用いて、新規性や実現可能性などのユーザ固有の品質指標に基づいて、アイデアをランク付けし、スケーラブルなパーソナライズを可能にする。
  論文  参考訳（メタデータ） (2024-10-31T17:04:59Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
  MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。 MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
  論文  参考訳（メタデータ） (2024-02-18T04:28:28Z)
• A Reliable Knowledge Processing Framework for Combustion Science using Foundation Models [0.0]
  この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。 開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。 このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
  論文  参考訳（メタデータ） (2023-12-31T17:15:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。