論文の概要: Publications as benchmarks: auditing AI agents on spatial transcriptomics alignment
- arxiv url: http://arxiv.org/abs/2611.11796v1
- Date: Mon, 09 Nov 2026 02:53:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:38.149092
- Title: Publications as benchmarks: auditing AI agents on spatial transcriptomics alignment
- Title(参考訳): ベンチマークとしてのパブリケーション:空間転写学的アライメントにおけるAIエージェントの監査
- Abstract要約: 我々は、科学出版物をAIエージェントの監査可能なベンチマークに変換するフレームワークを導入する。
121のタスク、16のベースラインメソッド、6つのAIエージェントで、最高のエージェントがすべてのベースラインにマッチまたはパフォーマンスを向上した。
我々のフレームワークは、専門的な科学分野におけるAIエージェントを評価するスケーラブルな方法を提供する。
- 参考スコア(独自算出の注目度): 3.131740922192114
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI agents are increasingly automating data analysis, but responsible adoption requires reliable performance evaluation, which is costly in specialized scientific domains. We introduce a framework that translates scientific publications into auditable benchmarks for AI agents and demonstrate its use on spatial transcriptomics alignment tasks. Across 121 tasks, 16 baseline methods, and six AI agents, the best agents (GPT-6-Astra and Gemini-4-Argon) matched or outperformed all baselines on 80% of tasks, often using surprisingly simple heuristics. Agent performance was robust to prompting and access to pre-installed packages. Benchmark construction also uncovered errors in prior work and shortcuts in current evaluation metrics. Finally, we show that agent-generated solutions can be distilled into a reusable program that ranks in the top 10% of baseline methods on unseen data. Our framework offers a scalable way to evaluate AI agents in specialized scientific domains by leveraging and stress-testing existing papers and metrics.
- Abstract(参考訳): AIエージェントはデータ分析の自動化をますます進めているが、責任ある採用には信頼性の高いパフォーマンス評価が必要である。
我々は,学術出版物をAIエージェントの監査可能なベンチマークに変換するフレームワークを導入し,空間的トランスクリプトミクスアライメントタスクにおけるその使用を実証する。
121のタスク、16のベースラインメソッド、6つのAIエージェント、最高のエージェント(GPT-6-AstraとGemini-4-Argon)は、タスクの80%ですべてのベースラインにマッチまたはパフォーマンスを向上し、しばしば驚くほど単純なヒューリスティックを使用していた。
エージェントのパフォーマンスは、プリインストールされたパッケージのプロンプトとアクセスに堅牢だった。
ベンチマーク構築では、以前の作業のエラーや、現在の評価指標のショートカットも明らかになった。
最後に, エージェント生成ソリューションは, 未確認データのベースライン法のトップ10%にランクインした再利用可能なプログラムに蒸留可能であることを示す。
我々のフレームワークは、既存の論文やメトリクスを活用してストレステストすることで、専門分野のAIエージェントを評価するスケーラブルな方法を提供する。
関連論文リスト
- Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳(メタデータ) (2026-06-10T22:55:30Z) - ResearchGym: Evaluating Language Model Agents on Real-World AI Research [48.46915933681714]
我々は、エンドツーエンドの研究においてAIエージェントを評価するためのベンチマークおよび実行環境であるResearchGymを紹介する。
これを実現するために,ICML,ICLR,ACLの5つの口頭およびスポットライト論文を再利用した。
GPT-5を動力とするエージェントの制御評価において、我々は鋭い能力-信頼性ギャップを観察する。
論文 参考訳(メタデータ) (2026-02-16T19:00:03Z) - Establishing Best Practices for Building Rigorous Agentic Benchmarks [94.69724201080155]
多くのエージェントベンチマークがタスク設定や報酬設計に問題があることを示す。
このような問題は、エージェントのパフォーマンスを最大100%相対的に過小評価することにつながる可能性がある。
我々はベンチマーク構築経験から要約したガイドラインの集合であるAgentic Benchmark Checklist (ABC)を紹介した。
論文 参考訳(メタデータ) (2025-07-03T17:35:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。