論文の概要: NIBench: benchmarking autonomous AI agents for execution, skill evolution and scientific judgment in neuroimaging
- arxiv url: http://arxiv.org/abs/2611.15831v1
- Date: Wed, 11 Nov 2026 18:44:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.252285
- Title: NIBench: benchmarking autonomous AI agents for execution, skill evolution and scientific judgment in neuroimaging
- Title(参考訳): NIBench:神経イメージングにおける実行、スキル進化、科学的判断のための自律型AIエージェントのベンチマーク
- Abstract要約: 本稿では,自律エージェントの3つの相補的評価を含むニューロイメージング・ベンチマークを提案する。
まず,7つのツールエコシステムにわたる56のタスクを使用して,実行とワークフローの再構築をベンチマークする。
第2に,実行軌跡の蒸留により,エージェントが手続き的スキルを進化させることができるかを検討する。
第3に、出版されたアルツハイマー病研究の36の主張を用いて科学的判断を評価する。
- 参考スコア(独自算出の注目度): 12.61706373349672
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous AI agents are increasingly used to automate biomedical research, creating a growing need to benchmark their capabilities on real scientific data and workflows. Their reliability in neuroimaging remains insufficiently characterized, where plausible analytical outputs can conceal errors that affect scientific conclusions. Existing studies have advanced scientific question answering and tool-based automation, but provide limited evidence on workflow reconstruction, acquisition of procedural expertise and evidence-based scientific judgment. Here we present NIBench, a neuroimaging benchmark comprising three complementary evaluations of autonomous agents. First, we benchmark execution and workflow reconstruction using 56 tasks across seven tool ecosystems, covering structural, diffusion and functional magnetic resonance imaging, positron emission tomography and multimodal analyses. Second, we examine whether agents can evolve their procedural skills through distillation of execution trajectories, evaluating the resulting skills on previously encountered tasks, unseen tasks and other models. Third, we assess scientific judgment using 36 claims from published Alzheimer's disease studies, requiring agents to analyse raw cohort data and provide reproducible evidence. We evaluate 19 language models within a shared agent framework, with selected models undergoing skill distillation and claim evaluation. Leading agents execute supplied analysis protocols nearly perfectly, whereas withholding procedural guidance widens performance differences. Distilled skills improve performance on acquisition tasks and transfer between models, but benefits on unseen tasks are inconsistent. Agents reproduce their reported results yet sometimes reach conclusions inconsistent with expert-derived answers, and access to data does not always improve judgment.
- Abstract(参考訳): 自律型AIエージェントは、バイオメディカル研究の自動化にますます使われており、実際の科学データやワークフローにその能力をベンチマークする必要性が高まっている。
ニューロイメージングにおける信頼性は依然として不十分であり、科学的結論に影響を与える誤りを隠蔽することができる。
既存の研究では、高度な科学的質問応答とツールベースの自動化があるが、ワークフローの再構築、手続き的専門知識の獲得、証拠に基づく科学的判断に関する限られた証拠を提供している。
本稿では,自律エージェントの3つの相補的評価を含むニューロイメージング・ベンチマークであるNIBenchを紹介する。
まず, 構造, 拡散, 機能的磁気共鳴イメージング, ポジトロンエミッショントモグラフィ, マルチモーダル解析を対象とし, 56のタスクを7つのツールエコシステムにまたがって, 実行とワークフロー再構築のベンチマークを行った。
第2に, エージェントは, 実行軌跡の蒸留を通じて手続き的スキルを進化させ, 以前遭遇したタスク, 目に見えないタスク, その他のモデルで得られたスキルを評価できるかどうかを検討する。
第三に、出版されたアルツハイマー病研究の36件の主張を用いて科学的判断を行い、エージェントが生のコホートデータを分析し、再現可能な証拠を提供する必要がある。
共有エージェントフレームワーク内の19の言語モデルの評価を行い, スキル蒸留およびクレーム評価を行う選択されたモデルについて検討した。
先行エージェントは、ほぼ完璧に供給された分析プロトコルを実行するが、手続き的ガイダンスはパフォーマンスの違いを拡大する。
蒸留されたスキルは、取得タスクのパフォーマンスとモデル間の転送を改善するが、見つからないタスクの利点は矛盾する。
エージェントは報告された結果を再現するが、専門家による回答と矛盾する結論に達することもある。
関連論文リスト
- Reimagining computational quantum research with AI scientists [57.82788604931818]
現在のAI科学者は、公表された結果の再現に失敗することが多く、科学論文のコミュニケーションと自律エージェントが必要とするものとの根本的なミスマッチを明らかにする。
Residual Agents (RA, Residual Agents) は、量子化された自己改善型AI科学者で、検証済みのワークフローの修復をそのような経験に駆使する。
RAは、固定ベースモデルと限定適応予算の下での研究性能を大幅に改善する。
論文 参考訳(メタデータ) (2026-11-02T09:32:13Z) - AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents [56.10249598693586]
AutoSciBenchは、各タスクを、科学領域、データモダリティ、要求推論アプローチを指定する高レベルな概念として表現するフレームワークである。
エージェントはそれぞれのタスクを解決し、解決者トラジェクトリを生成し、AutoSciBenchがレシピやコンセプトを改訂するために使用している判断フィードバックに対応する。
計算生物学,材料科学,臨床画像におけるAutoSciBenchの評価を行った。
論文 参考訳(メタデータ) (2026-10-04T11:40:11Z) - CompMat-Bench: Benchmarking AI Agents for Computational Materials Science [3.6785856400419465]
CompMat-Benchは、計算材料研究から派生した94のタスクのベンチマークである。
我々は、事前に研究手順を再現し、高価なシミュレーションのための入力の準備と出力の分析を行うエージェントを評価する。
ベンチマークは4つの評価条件をサポートする: 単一のタスクと関連するタスクで構成され、それぞれが完全なまたは少ない方法論的ガイダンスを持つ。
論文 参考訳(メタデータ) (2026-09-30T19:37:09Z) - Research with AI Agents: How Agentic Systems Are Changing Scientific Work [0.3802675998752554]
エージェントAIシステムは、文学検索、データ分析、プログラミングなどのタスクをサブタスクに分離する。
これにより、デジタルリサーチタスクを高速に実行することができる。
論文 参考訳(メタデータ) (2026-09-25T13:01:02Z) - BrainPilot: Automating Brain Discovery with Agentic Research [27.57098883420861]
textbfBrainPilotは、トレース可能なログとエージェント検証結果を用いて、脳科学研究を加速するオープンソースのマルチエージェントシステムである。
プリンシパル・リサーチ・エージェント(PI)は、キュレートされたドメイン知識に根ざした専門家をコーディネートする。
主要なステップはすべて、サブゴール、ツールの使用、エビデンス、クレームをリンクする監査可能なレコードであるGraph of Traceに記録されている。
論文 参考訳(メタデータ) (2026-07-16T14:49:25Z) - Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。
ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。
タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
論文 参考訳(メタデータ) (2026-06-10T22:55:30Z) - Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。
従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。
本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-05-10T06:30:19Z) - Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。
課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。
結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
論文 参考訳(メタデータ) (2026-05-01T17:42:12Z) - Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。
我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
論文 参考訳(メタデータ) (2026-03-20T16:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。