論文の概要: OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics
- arxiv url: http://arxiv.org/abs/2610.21074v1
- Date: Thu, 15 Oct 2026 01:23:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.117929
- Title: OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics
- Title（参考訳）: OmicsBench:研究・研究規模のバイオインフォマティクスにおけるAIエージェントの長期マルチターンベンチマーク
- Abstract要約: OmicsBenchは、AIエージェントのための長期のマルチターンバイオインフォマティクスベンチマークである。
従属部分タスクを有向非巡回グラフにリンクし、基礎部分タスクは662である。
各サブタスクは、1つのユーザターンとして設定され、誤った回答に対するオプションのインコンテキストフィードバックとともに、回答キーに対して決定的にランク付けされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Computational biologists increasingly delegate substantial analyses to AI agents in long-horizon, multi-turn sessions, yet most benchmarks of agents' bioinformatics capabilities pose a single short task with a single-shot prompt. We present OmicsBench, a long-horizon, multi-turn bioinformatics benchmark for AI agents. Each of its 97 tasks links dependent subtasks into a directed acyclic graph, for 662 underlying subtasks in all. Each subtask is posed as one user turn and graded deterministically against an answer key, with optional in-context feedback on incorrect answers. Across 12 models on three harnesses, the slowest agent averages 3.6 hours per task, and no combination comes near saturating the benchmark, with mean scores of 0.43 to 0.57 out of a possible 1 without in-context feedback and 0.54 to 0.67 with it. Multi-turn evaluation also uncovers behavior that single-shot prompts cannot, as agents score lower on subtasks that depend on earlier subtasks, and in-context feedback helps agents recover some of that loss. Because deterministic scoring gives no qualitative account of how an agent failed, we also introduce an unsupervised failure mode discovery pipeline that describes, embeds, and clusters agents' failed attempts to surface emergent failure modes. Applied to OmicsBench, this pipeline exposes qualitative shortcomings in how agents carry out bioinformatics analyses, ranging from agents applying their own statistical filters in place of the specified ones to agents writing whole answers from memory.
- Abstract（参考訳）: 計算生物学者は、長期にわたるマルチターンセッションにおいて、AIエージェントに実質的な分析を委譲する傾向にあるが、エージェントのバイオインフォマティクス能力のベンチマークのほとんどは、単発プロンプトで単一のショートタスクを呈している。
我々は,AIエージェントのバイオインフォマティクスベンチマークであるOmicsBenchを紹介する。
97のタスクのそれぞれが依存サブタスクを有向非巡回グラフにリンクし、基礎となるサブタスクは662である。
各サブタスクは、1つのユーザターンとして設定され、誤った回答に対するオプションのインコンテキストフィードバックとともに、回答キーに対して決定的にランク付けされる。
3つのハーネス上の12モデル全体で、最も遅いエージェントはタスク平均3.6時間であり、ベンチマークの飽和に近い組み合わせはない。
マルチターン評価はまた、エージェントが以前のサブタスクに依存するサブタスクでスコアを下げることによって、シングルショットのプロンプトができない振る舞いを明らかにする。
決定論的スコアは、エージェントの障害方法の定性的な説明をしないため、創発的障害モードを発生させるためのエージェントの失敗を記述、埋め込み、クラスタの失敗を記述した、教師なしの障害モード検出パイプラインも導入します。
OmicsBenchに応用されたこのパイプラインは、エージェントが特定のエージェントの代わりに独自の統計フィルタを適用するエージェントから、メモリから全回答を書くエージェントまで、バイオインフォマティクスの分析を行う方法の質的な欠点を露呈する。
関連論文リスト
- BIABench: Evaluating AI agents on real-world bioimage analysis tasks [5.376819551968377]
生物実験から再構成した16のタスクのベンチマークであるBIABenchを紹介する。
タスクは、H&Eヒストロジーから単一分子局在化顕微鏡まで、11のサブタスクとモダリティにまたがる。
複数の言語モデルにまたがる汎用エージェントと生物学特化エージェントを評価し,各タスクを反復的に実行した。
論文 参考訳（メタデータ） (2026-09-28T04:22:51Z) - AutoMedBench: Towards Medical AutoResearch with Agentic AI Models [31.335309699875264]
AutoMedBenchは、自律医療AI研究のためのワークフロー対応ベンチマークである。
各ランの平均エージェントターンが33回ある長い水平タスクで構成されている。
論文 参考訳（メタデータ） (2026-06-01T09:22:55Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics [0.0]
BioAgent Benchは、AIエージェントのパフォーマンスと堅牢性を測定するために設計された、ベンチマークデータセットと評価スイートである。
ベンチマークには、自動アセスメントをサポートするための具体的な出力アーティファクトを指定するプロンプトを備えた、エンドツーエンドタスクのキュレートが含まれている。
複数のエージェントハーネスをまたいだフロンティアクローズドソースおよびオープンウェイトモデルの評価を行った。
論文 参考訳（メタデータ） (2026-01-29T14:44:03Z) - AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios [49.90735676070039]
持続時間と複雑さが増大するタスクを効果的に処理するAIエージェントの能力は、成長を続けている。
エージェントタスクの多様性に十分対処することなく,タスクの難易度の向上を優先している。
本稿では,自然言語命令とAIエージェントを多種多様な日常タスクに活用できるかどうかを判定するエージェントIF-OneDayを提案する。
論文 参考訳（メタデータ） (2026-01-28T13:49:18Z) - TriAgent: Automated Biomarker Discovery with Deep Research Grounding for Triage in Acute Care by LLM-Based Multi-Agent Collaboration [3.0416960239499358]
世界の救急医療機関は、患者数の増加、労働力不足、トリアージ決定のばらつきに直面している。
この課題に対処するために,大規模言語モデル(LLM)ベースのマルチエージェントフレームワークであるTriAgentを紹介した。
TriAgentは、バイオマーカーの自動発見と、文学的根拠による検証と新規性評価のための深い研究を結合する。
論文 参考訳（メタデータ） (2025-10-17T12:26:29Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。