論文の概要: SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents
- arxiv url: http://arxiv.org/abs/2603.29139v1
- Date: Tue, 31 Mar 2026 01:41:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:02.990742
- Title: SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents
- Title（参考訳）: SciVisAgentBench: 科学的データ分析と可視化エージェントの評価ベンチマーク
- Abstract要約: SciVisAgentBenchは、科学データ分析および可視化エージェントを評価するための基本的なベンチマークである。
私たちのベンチマークは、アプリケーションドメイン、データタイプ、複雑性レベル、可視化操作の4つの次元にまたがる構造化分類に基づいています。
現在、さまざまなSciVisシナリオをカバーする108のエキスパートクラフトケースで構成されている。
- 参考スコア（独自算出の注目度）: 12.966844873205048
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in large language models (LLMs) have enabled agentic systems that translate natural language intent into executable scientific visualization (SciVis) tasks. Despite rapid progress, the community lacks a principled and reproducible benchmark for evaluating these emerging SciVis agents in realistic, multi-step analysis settings. We present SciVisAgentBench, a comprehensive and extensible benchmark for evaluating scientific data analysis and visualization agents. Our benchmark is grounded in a structured taxonomy spanning four dimensions: application domain, data type, complexity level, and visualization operation. It currently comprises 108 expert-crafted cases covering diverse SciVis scenarios. To enable reliable assessment, we introduce a multimodal outcome-centric evaluation pipeline that combines LLM-based judging with deterministic evaluators, including image-based metrics, code checkers, rule-based verifiers, and case-specific evaluators. We also conduct a validity study with 12 SciVis experts to examine the agreement between human and LLM judges. Using this framework, we evaluate representative SciVis agents and general-purpose coding agents to establish initial baselines and reveal capability gaps. SciVisAgentBench is designed as a living benchmark to support systematic comparison, diagnose failure modes, and drive progress in agentic SciVis. The benchmark is available at https://scivisagentbench.github.io/.
- Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、自然言語の意図を実行可能な科学的可視化(SciVis)タスクに変換するエージェントシステムを可能にしている。
急速な進歩にもかかわらず、コミュニティはこれらの新興SciVisエージェントを現実的で多段階の分析設定で評価するための、原則的で再現可能なベンチマークを欠いている。
SciVisAgentBenchは、科学データ分析および可視化エージェントを評価するための総合的かつ拡張可能なベンチマークである。
私たちのベンチマークは、アプリケーションドメイン、データタイプ、複雑性レベル、可視化操作の4つの次元にまたがる構造化分類に基づいています。
現在、さまざまなSciVisシナリオをカバーする108のエキスパートクラフトケースで構成されている。
信頼性評価を実現するために,LLMに基づく判定と,画像ベースのメトリクス,コードチェッカー,ルールベースの検証器,ケース固有の評価器を含む決定論的評価器を組み合わせたマルチモーダルな結果中心評価パイプラインを導入する。
また,SciVisの専門家12名を対象に,人間とLLM裁判官の合意を検証した。
このフレームワークを用いて、SciVisの代表エージェントと汎用コーディングエージェントを評価し、初期ベースラインを確立し、能力ギャップを明らかにする。
SciVisAgentBenchは、システム比較をサポートし、障害モードを診断し、エージェントSciVisの進歩を促進するために、生きたベンチマークとして設計されている。
ベンチマークはhttps://scivisagentbench.github.io/で公開されている。
関連論文リスト
- AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers [39.39345650320786]
AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。
広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。
その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。
論文 参考訳（メタデータ） (2026-07-31T16:58:00Z) - SciVisAgentSkills: Design and Evaluation of Agent Skills for Scientific Data Analysis and Visualization [8.855427243372116]
SciVisAgentSkillsは、科学データ分析と可視化のためのコーディングエージェントを増強する再利用可能なエージェントスキルのコレクションである。
専門家が設計した108のマルチステップタスクのベンチマークであるSciVisAgentBenchを用いて、CodexとClaude Codeでこれらのスキルを評価する。
論文 参考訳（メタデータ） (2026-06-04T00:14:25Z) - SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models [63.357710580101894]
大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。
この問題に対処するため、SciCustomという新しいフレームワークを提案する。
大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
論文 参考訳（メタデータ） (2026-05-19T04:41:43Z) - HeurekaBench: A Benchmarking Framework for AI Co-scientist [2.206319727896241]
HeurekaBenchは、実験データセットに対する探索的でオープンな研究質問を伴うベンチマークを作成するためのフレームワークである。
単細胞生物学のフレームワークをインスタンス化し、Sc-HeurekaBenchベンチマークを取得し、最先端の単細胞エージェントと比較する。
批判モジュールを追加することで、オープンソースLLMエージェントの不正な応答を最大22%改善し、クローズドソースエージェントとのギャップを埋めることができる。
論文 参考訳（メタデータ） (2026-01-04T22:16:42Z) - An Evaluation-Centric Paradigm for Scientific Visualization Agents [11.974221351149687]
本稿では,SciVisエージェントに必要な各種評価方法について検討する。
我々は、SciVisエージェント評価ベンチマークを開発するためのより広範なコラボレーションを提唱する。
論文 参考訳（メタデータ） (2025-09-18T17:08:23Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - Visual Document Understanding and Question Answering: A Multi-Agent Collaboration Framework with Test-Time Scaling [83.78874399606379]
テスト時間スケーリングを備えたマルチエージェント協調フレームワークであるMACTを提案する。
4つの異なる小規模エージェントから構成され、明確に定義された役割と効果的なコラボレーションがある。
一般および数学的タスクの能力を犠牲にすることなく、より小さなパラメータスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2025-08-05T12:52:09Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - BLADE: Benchmarking Language Model Agents for Data-Driven Science [21.682416167339635]
プランニング、メモリ、コード実行機能を備えたLMベースのエージェントは、データ駆動科学をサポートする可能性がある。
本稿では,エージェントの多面的アプローチを自動的に評価するベンチマークBLADEについて述べる。
論文 参考訳（メタデータ） (2024-08-19T02:59:35Z) - MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。
2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。
タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-06T00:40:53Z) - MatPlotAgent: Method and Evaluation for LLM-Based Agentic Scientific Data Visualization [86.61052121715689]
MatPlotAgentは、科学的データ可視化タスクを自動化するために設計された、モデルに依存しないフレームワークである。
MatPlotBenchは、100人の検証されたテストケースからなる高品質なベンチマークである。
論文 参考訳（メタデータ） (2024-02-18T04:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。