論文の概要: BixBench3: Benchmarking AI agents on research-study-scale computational biology tasks
- arxiv url: http://arxiv.org/abs/2608.25286v1
- Date: Wed, 26 Aug 2026 01:45:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.529953
- Title: BixBench3: Benchmarking AI agents on research-study-scale computational biology tasks
- Title（参考訳）: BixBench3: 研究・研究規模の計算生物学タスクにおけるAIエージェントのベンチマーク
- Abstract要約: Bix3は、AIエージェントの能力を測定し、生物学的データを科学的結果に処理するベンチマークである。
スコアはGemini 3.1 Flash Liteの0.00からGPT 5.6 Solの0.48まで。
エージェントは平均で6.8時間トークンを使用し、各タスクは102百万ドル、43ドルを完了し、24時間かかる最長の試行は43ドルである。
- 参考スコア（独自算出の注目度）: 1.1546532378724035
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Artificial intelligence (AI) promises to accelerate biological research by automating computational analyses. Yet the ability of AI agents to carry out computational biology at the scale of complete research studies has not been systematically evaluated. Here we introduce BixBench3, a benchmark that measures the capacity of AI agents to process raw biological data through to scientific results. We designed BixBench3 tasks to mirror the delegation of work from a scientist to an agent: the scientist chooses the research question and high-level methods, then delegates implementation of all analyses to the agent. In each task, an agent receives a research objective, methodological guidance, and raw data derived from a published scientific study, and must execute a sequence of analyses to achieve the research objective. The data artifacts resulting from these analyses - such as peak call matrices or differential expression tables - are programmatically graded against the corresponding artifacts generated and reported in the original study. Across 20 BixBench3 tasks encompassing the generation of 138 unique artifacts, we find that 13 frontier models achieve scores ranging from 0.00 for Gemini 3.1 Flash Lite to 0.48 for GPT 5.6 Sol. Agents perform worse on tasks with larger raw datasets (0.36 on tasks with <100 GB versus 0.10 on tasks with >100 GB) and on analyses requiring more sequential steps (0.36 at 1-2 steps vs 0.24 at 3+). On average, agents use 6.8 hours, 102 million tokens, and $43 to complete each task, with the longest attempts consuming 24 hours, 1.07 billion tokens, and $525. Notably, the highest-scoring agents used fewer tokens and were cheaper than less performant options. These results reveal that LLMs vary substantially in their ability to (1) execute multiple sequential analysis steps coherently, (2) manage large quantities of raw data, and (3) work across scientific domains.
- Abstract（参考訳）: 人工知能(AI)は、計算分析を自動化して生物学的研究を加速することを約束する。
しかし、完全な研究の規模で計算生物学を実行するAIエージェントの能力は、体系的に評価されていない。
ここではBixBench3を紹介します。これはAIエージェントが生の生物学的データを科学的な結果に処理する能力を測定するベンチマークです。
我々は、科学者からエージェントへの作業の委譲を反映するBixBench3タスクを設計しました。
各タスクにおいて、エージェントは、公表された科学研究から得られた研究目的、方法論的ガイダンス、および生データを受信し、研究目的を達成するために一連の分析を実行する必要がある。
これらの分析から得られたデータアーティファクト(ピークコール行列や差分式表など)は、元の研究では生成された対応するアーティファクトに対してプログラム的にグレードされる。
20のBixBench3タスクで138個のユニークなアーティファクトが生成され、13のフロンティアモデルはGemini 3.1 Flash Liteの0.00からGPT 5.6 Solの0.48までスコアが得られた。
エージェントは、より大きな生データセットを持つタスク(100GB未満のタスクでは0.36、100GB未満のタスクでは0.10)と、よりシーケンシャルなステップを必要とする分析(0.36、1-2ステップでは0.36、3+では0.24)でさらにパフォーマンスが低下する。
エージェントは平均6.8時間、10200万トークン、43ドルで各タスクを完了し、最長の試行は24時間1.07億トークン、525ドルである。
特に、最高ランクのエージェントはトークンを減らし、パフォーマンスの低いオプションよりも安価であった。
これらの結果から,LSMは,(1)複数の逐次解析ステップを協調的に実行し,(2)大量の生データを管理し,(3)科学的領域をまたいだ作業を行う能力において,大きく異なることが明らかとなった。
関連論文リスト
- Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳（メタデータ） (2026-06-10T22:55:30Z) - AIDABench: AI Data Analytics Benchmark [62.45908988324612]
AIDABenchは、複雑なデータ分析タスクのAIシステムをエンドツーエンドで評価するためのベンチマークである。
AIDABenchは、質問応答、データビジュアライゼーション、ファイル生成という3つのコア機能ディメンションにまたがる600以上の多様なドキュメント分析タスクを含んでいる。
AIDABenchの11の最先端モデルを評価し、プロプライエタリ(Claude Sonnet 4.5、Gemini 3 Pro Previewなど)とオープンソース(Qwen3-Max-2026-01-23-Thinkingなど)の両方を対象とする。
論文 参考訳（メタデータ） (2026-02-27T08:58:05Z) - AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents [49.67355440164857]
AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。
Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。
本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
論文 参考訳（メタデータ） (2026-02-06T16:45:02Z) - AstaBench: Rigorous Benchmarking of AI Agents with a Scientific Research Suite [75.58737079136942]
本稿では,AstaBenchについて紹介する。AstaBenchは,科学的研究を行うためのエージェント能力の総合的な測定を行うスイートである。
私たちのスイートには、プロダクショングレードの検索ツールを備えた、最初の科学研究環境が付属しています。
22のエージェントクラスで57のエージェントを評価したところ,いくつかの興味深い結果が得られた。
論文 参考訳（メタデータ） (2025-10-24T17:10:26Z) - EpidemIQs: Prompt-to-Paper LLM Agents for Epidemic Modeling and Analysis [0.0]
大規模言語モデル(LLM)は、複雑な学際研究を自動化する新しい機会を提供する。
EpidemIQsは、ユーザ入力を統合し、文献のレビュー、分析的導出、ネットワークモデリング、シミュレーションの呼び出し、データの可視化と分析、そして最後に構造化された原稿での発見の文書化を行う、新しいマルチエージェントLCMフレームワークである。
我々は、計算コスト、完成率、AIおよび生成されたレポートの人間専門家レビューを測定する様々なシナリオにおいて、エピデムIQを評価した。
論文 参考訳（メタデータ） (2025-09-24T18:54:56Z) - BixBench: a Comprehensive Benchmark for LLM-based Agents in Computational Biology [4.099098082010236]
LLM(Large Language Models)とLLMをベースとしたエージェントは、科学研究の加速に大きな期待を示している。
本稿では,バイオインフォマティクスベンチマーク(BixBench)について述べる。
オープンソースのカスタムエージェントフレームワークを用いて,2つのフロンティアLCMの性能評価を行った。
論文 参考訳（メタデータ） (2025-02-28T18:47:57Z) - MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。
これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。
我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
論文 参考訳（メタデータ） (2025-02-20T12:28:23Z) - ML Research Benchmark [0.0]
MLRB(ML Research Benchmark)は,最近の機械学習カンファレンスのトラックから派生した7つの競合レベルタスクからなる。
本稿では,Claude-3 や GPT-4o などのフロンティアモデルを用いたエージェント足場を用いて,新しいベンチマークを提案し,評価する。
結果は、Claude-3.5 Sonnetエージェントがベンチマーク全体で最高のパフォーマンスを示し、機械学習モデルの設計と開発に優れていたことを示唆している。
論文 参考訳（メタデータ） (2024-10-29T21:38:42Z) - ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery [23.773528748933934]
我々は、データ駆動科学発見のための言語エージェントを評価するための新しいベンチマークであるScienceAgentBenchを紹介する。
44の査読論文から4つの分野の102の課題を抽出し,9つの課題の専門家による検証を行った。
ScienceAgentBenchを使って、オープンウェイトでプロプライエタリなLLMを5つ評価し、それぞれにダイレクトプロンプト、OpenHands CodeAct、セルフAIの3つのフレームワークを持つ。
論文 参考訳（メタデータ） (2024-10-07T14:33:50Z) - DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。
このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。
現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
論文 参考訳（メタデータ） (2024-09-12T02:08:00Z) - MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。
各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。
我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
論文 参考訳（メタデータ） (2023-10-05T04:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。