論文の概要: BIABench: Evaluating AI agents on real-world bioimage analysis tasks
- arxiv url: http://arxiv.org/abs/2609.34274v1
- Date: Mon, 28 Sep 2026 04:22:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:16:27.252283
- Title: BIABench: Evaluating AI agents on real-world bioimage analysis tasks
- Title（参考訳）: BIABench: 現実世界のバイオ画像分析タスクにおけるAIエージェントの評価
- Abstract要約: 生物実験から再構成した16のタスクのベンチマークであるBIABenchを紹介する。
タスクは、H&Eヒストロジーから単一分子局在化顕微鏡まで、11のサブタスクとモダリティにまたがる。
複数の言語モデルにまたがる汎用エージェントと生物学特化エージェントを評価し,各タスクを反復的に実行した。
- 参考スコア（独自算出の注目度）: 5.376819551968377
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial-intelligence (AI) agents hold promise for automating bioimage analysis, yet no benchmark evaluates whether they can carry out real-world analyses end to end. Such analyses are hard for agents because 2D images, 3D volumes and time-lapse sequences are often too large to read as context, so an agent must choose and run an analysis through code, specialized software and rendered views. Published studies make this capability testable, because each pairs raw images with a peer-reviewed result. We introduce BIABench, a benchmark of 16 tasks reconstructed from published biological studies that retain their scientific questions, imaging data and ground truth. The tasks span eleven analysis subtasks and modalities from H&E histology to single-molecule localization microscopy. Each submission receives an outcome score, which compares the output files with the ground truth using field-standard metrics, and a process score, in which a vision-language model judges method choice and quality control against an expert-written rubric. We evaluated general-purpose and biology-specific agents across several language models, with repeated runs of every task. Routine two-dimensional tasks were solved well, but on some tasks that added a third dimension or a time axis no agent scored above 0.19. Neither biological specialization, stronger models nor detailed expert instructions closed this gap. The agents were also unreliable, with scores varying more between repeated runs of one agent than between different agents, and without ground truth a correct run could not be told from a wrong one by its process score or by the time spent. Released openly with its data and code, BIABench provides a verifiable framework for evaluating, and eventually training, agents for reliable long-horizon bioimage analysis.
- Abstract（参考訳）: 人工知能(AI)エージェントは、バイオイメージ分析の自動化を約束するが、実世界の分析を終末に行うことができるかどうかを評価するベンチマークはない。
2D画像、3Dボリューム、タイムラプスシーケンスはしばしばコンテキストとして読むには大きすぎるため、エージェントはコード、特殊なソフトウェア、レンダリングビューを通じて分析を選択して実行しなければならない。
公開された研究によって、各ペアがピアレビューされた結果で生画像を生成するため、この機能は検証可能である。
BIABenchは、生物学的研究から再構成された16のタスクのベンチマークで、科学的な質問や画像データ、地上の真実を保存している。
タスクは、H&Eヒストロジーから単一分子局在化顕微鏡まで、11のサブタスクとモダリティにまたがる。
各サブミッションは結果スコアを受け取り、フィールド標準メトリクスを用いて出力ファイルと基礎真実を比較し、プロセススコアは、ビジョン言語モデルが専門家が書いたルーリックに対してメソッドの選択と品質制御を判断する。
複数の言語モデルにまたがる汎用エージェントと生物特異的エージェントを評価し,各タスクを反復的に実行した。
日常的な2次元のタスクはうまく解決されたが、3次元や時間軸を加えたタスクでは0.19以上のエージェントは得られなかった。
生物学的特殊化も、より強力なモデルも、詳細な専門家の指示も、このギャップを埋めることはなかった。
エージェントはまた信頼性が低く、異なるエージェント間での繰り返し実行のスコアは、異なるエージェント間でのスコアよりも大きくなり、根拠のない真実がなければ、正しい実行はプロセススコアや費やした時間によって間違ったエージェントから伝えられることができなかった。
データとコードとともに公開され、BIABenchは信頼性のある長期生物像解析のためのエージェントの評価、訓練のための検証可能なフレームワークを提供する。
関連論文リスト
- Agentic-J: An AI Agent for Biological Microscopy Image Analysis [7.352708195594308]
Agentic-Jはコンテナ化されたマルチエージェントAIアシスタントである。
生物学者は自然言語で分析タスクを指定できる。
ドキュメント化されたプロジェクト構造に編成された実行可能なスクリプトを生成する。
論文 参考訳（メタデータ） (2026-06-01T11:10:28Z) - Collider-Bench: Benchmarking AI Agents with Particle Physics Analysis Reproduction [0.02446672595462589]
我々は,LHC(Large Hadron Collider)から,公開論文とオープンサイエンスソフトウェアのみを用いて,言語モデルエージェントが実験分析を再現できるかどうかを評価するベンチマークであるCollind-Benchを紹介する。
したがってエージェントは、これらのギャップを埋めるために、物理的推論、ドメイン知識、試行錯誤に頼らなければならない。
以上の結果から, 平均的なエージェントが, ループ内解法を確実に打ち負かすことは不可能であることが示唆された。
論文 参考訳（メタデータ） (2026-05-13T18:00:00Z) - CytoCrowd: A Multi-Annotator Benchmark Dataset for Cytology Image Analysis [12.681868051192334]
我々は、医療画像分析のための新しい公開ベンチマークであるCytoCrowdを紹介する。
データセットには446の高解像度イメージがあり、それぞれに2つの重要なコンポーネントがある。
オブジェクト検出や分類といった標準的なコンピュータビジョンタスクのベンチマークとして機能する。
論文 参考訳（メタデータ） (2026-02-06T13:00:49Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Bridging the Gap Between Ideal and Real-world Evaluation: Benchmarking AI-Generated Image Detection in Challenging Scenarios [54.07895223545793]
本稿では,実世界ロバストネスデータセット(RRDataset)を導入し,3次元にわたる検出モデルの包括的評価を行う。
RRDatasetには7つの主要なシナリオの高品質なイメージが含まれている。
我々はRRDataset上で17の検出器と10の視覚言語モデル(VLM)をベンチマークし、大規模な人間実験を行った。
論文 参考訳（メタデータ） (2025-09-11T06:15:52Z) - Evaluating Hallucination in Text-to-Image Diffusion Models with Scene-Graph based Question-Answering Agent [9.748808189341526]
有効なテキスト・ツー・イメージ(T2I)評価指標は以下のとおりである: 生成された画像がテキストのプロンプトと一致しないインスタンスを検出する。
抽出したシーングラフを用いて質問応答を行うための大規模言語モデル (LLM) に基づく手法を提案し, 生成された画像に対する評価スコアを用いたデータセットを作成する。
論文 参考訳（メタデータ） (2024-12-07T18:44:38Z) - BioKGBench: A Knowledge Graph Checking Benchmark of AI Agent for Biomedical Science [43.624608816218505]
BioKGBenchはAI駆動型バイオメディカルエージェントの評価ベンチマークである。
私たちはまず『Understanding Literature』を2つの原子能力に分解した。
次に、KGQAとドメインベースのRetrieval-Augmented Generationを用いて、KGCheckと呼ばれる新しいエージェントタスクを定式化する。
2つのアトミックなタスクに対して2万以上のデータを集め、225の高品質なアノテートされたデータをエージェントタスクに対して収集する。
論文 参考訳（メタデータ） (2024-06-29T15:23:28Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - TagLab: A human-centric AI system for interactive semantic segmentation [63.84619323110687]
TagLabは、大規模な画像に注釈をつけるための、オープンソースのAI支援ソフトウェアである。
画像アノテーションをスクラッチから支援ツールを通じてスピードアップし、カスタムの完全自動セマンティックセグメンテーションモデルを作成し、自動予測の迅速な編集を可能にする。
研究結果は,海洋生態学と建築遺産の2つの異なるシナリオで報告した。
論文 参考訳（メタデータ） (2021-12-23T16:50:06Z) - Common Limitations of Image Processing Metrics: A Picture Story [58.83274952067888]
本論文は, 画像レベルの分類, セマンティックセグメンテーション, インスタンスセグメンテーション, オブジェクト検出タスクと表現できるバイオメディカル画像解析問題に焦点を当てる。
現在のバージョンは、世界中の60以上の機関からの画像分析の専門家からなる国際コンソーシアムが実施するメトリクスに関するDelphiプロセスに基づいている。
論文 参考訳（メタデータ） (2021-04-12T17:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。