論文の概要: AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents

• arxiv url: http://arxiv.org/abs/2602.06855v1
• Date: Fri, 06 Feb 2026 16:45:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.491181
• Title: AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents
• Title（参考訳）: AIRS-Bench:フロンティアAI研究エージェントのためのタスクスイート
• Authors: Alisia Lupidi, Bhavul Gauri, Thomas Simon Foster, Bassel Al Omari, Despoina Magka, Alberto Pepe, Alexis Audran-Reiss, Muna Aghamelu, Nicolas Baldwin, Lucia Cipolina-Kun, Jean-Christophe Gagnon-Audet, Chee Hau Leow, Sandra Lefdal, Hossam Mossalam, Abhinav Moudgil, Saba Nazir, Emanuel Tewolde, Isabel Urrego, Jordi Armengol Estape, Amar Budhiraja, Gaurav Chaurasia, Abhishek Charnalia, Derek Dunfield, Karen Hambardzumyan, Daniel Izcovich, Martin Josifoski, Ishita Mediratta, Kelvin Niu, Parth Pathak, Michael Shvartsman, Edan Toledo, Anton Protopopov, Roberta Raileanu, Alexander Miller, Tatiana Shavrina, Jakob Foerster, Yoram Bachrach,
• Abstract要約: AIRS-Benchは、最先端の機械学習論文から得られた20のタスクからなるスイートである。 Airs-Benchタスクは、研究ライフサイクル全体のエージェント能力を評価する。 本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。
• 参考スコア（独自算出の注目度）: 49.67355440164857
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM agents hold significant promise for advancing scientific research. To accelerate this progress, we introduce AIRS-Bench (the AI Research Science Benchmark), a suite of 20 tasks sourced from state-of-the-art machine learning papers. These tasks span diverse domains, including language modeling, mathematics, bioinformatics, and time series forecasting. AIRS-Bench tasks assess agentic capabilities over the full research lifecycle -- including idea generation, experiment analysis and iterative refinement -- without providing baseline code. The AIRS-Bench task format is versatile, enabling easy integration of new tasks and rigorous comparison across different agentic frameworks. We establish baselines using frontier models paired with both sequential and parallel scaffolds. Our results show that agents exceed human SOTA in four tasks but fail to match it in sixteen others. Even when agents surpass human benchmarks, they do not reach the theoretical performance ceiling for the underlying tasks. These findings indicate that AIRS-Bench is far from saturated and offers substantial room for improvement. We open-source the AIRS-Bench task definitions and evaluation code to catalyze further development in autonomous scientific research.
• Abstract（参考訳）: LLMエージェントは、科学研究を進めるための重要な約束を持っている。 この進歩を加速するために、最先端の機械学習論文から得られた20のタスクスイートであるAIRS-Bench(AI Research Science Benchmark)を紹介する。 これらのタスクは、言語モデリング、数学、バイオインフォマティクス、時系列予測など、さまざまな領域にまたがる。 AIRS-Benchタスクは、ベースラインコードを提供することなく、アイデア生成、実験分析、反復的な改善を含む、完全な研究ライフサイクルにおけるエージェント能力を評価する。 AIRS-Benchタスクフォーマットは汎用的であり、新しいタスクを簡単に統合し、異なるエージェントフレームワーク間で厳密な比較を可能にする。 逐次的および並列的な足場と組み合わせたフロンティアモデルを用いてベースラインを確立する。 その結果、エージェントは4つのタスクで人間のSOTAを超えるが、他の16のタスクでは一致しないことがわかった。 エージェントが人間のベンチマークを超えても、基礎となるタスクの理論的パフォーマンス上限に達しない。 これらの結果から,AIRS-Benchは飽和には程遠いため,十分な改善の余地があることが示唆された。 本稿では,AIRS-Benchタスク定義と評価コードをオープンソースとして公開し,自律科学研究のさらなる発展を促す。

関連論文リスト

• Let the Barbarians In: How AI Can Accelerate Systems Performance Research [80.43506848683633]
  我々は、この繰り返しサイクルを、AI駆動システム研究の生成、評価、洗練のサイクルと呼ぶ。 我々はADRSが生成するソリューションが人間の最先端の設計に適合し、さらに優れることを示した。
  論文  参考訳（メタデータ） (2025-12-16T18:51:23Z)
• RExBench: Can coding agents autonomously implement AI research extensions? [14.147417159347448]
  LLM(Large Language Models)に基づくエージェントは、高度なソフトウェアエンジニアリングタスクを自律的に実行することを約束している。 研究拡張とその実装は,このようなシステムにとって重要な能力である,と我々は主張する。 この機能の評価をサポートするために、RExBenchを導入します。
  論文  参考訳（メタデータ） (2025-06-27T19:41:41Z)
• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• ML Research Benchmark [0.0]
  MLRB(ML Research Benchmark)は,最近の機械学習カンファレンスのトラックから派生した7つの競合レベルタスクからなる。 本稿では,Claude-3 や GPT-4o などのフロンティアモデルを用いたエージェント足場を用いて,新しいベンチマークを提案し,評価する。 結果は、Claude-3.5 Sonnetエージェントがベンチマーク全体で最高のパフォーマンスを示し、機械学習モデルの設計と開発に優れていたことを示唆している。
  論文  参考訳（メタデータ） (2024-10-29T21:38:42Z)
• CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark [11.794931453828974]
  CORE-Benchは3つの分野(コンピュータ科学、社会科学、医学)にわたる90の科学論文に基づく270のタスクからなるベンチマークである。 エージェントの精度を高速かつ並列に測定する評価システムを提案する。 最高のエージェントは、最も難しいタスクにおいて21%の精度を達成した。
  論文  参考訳（メタデータ） (2024-09-17T17:13:19Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。