論文の概要: MatToolBench: Benchmarking Multimodal Agents in Real-World Materials Science Workflows

• arxiv url: http://arxiv.org/abs/2609.37053v1
• Date: Tue, 29 Sep 2026 08:58:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.346839
• Title: MatToolBench: Benchmarking Multimodal Agents in Real-World Materials Science Workflows
• Title（参考訳）: MatToolBench: 実世界の物質科学ワークフローにおけるマルチモーダルエージェントのベンチマーク
• Abstract要約: MatToolBenchは、プロのソフトウェア上でマルチモーダルGUIエージェントを評価するための最初の実環境ベンチマークである。 実験の結果, 一般ベンチマークでの強い性能は, 専門的な科学ベンチマークに移行しないことがわかった。 MatToolBenchは、データスカースで知識集約型の科学ソフトウェアのための、困難な診断ベンチマークと実環境テストベッドとして機能する。
• 参考スコア（独自算出の注目度）: 28.241219809417345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal GUI agents have achieved impressive results on general software benchmarks, yet their ability to operate professional scientific software remains largely unexplored. In materials science, sparse domain-specific web data, specialized interfaces, and tacit workflow conventions create blind spots that general-purpose pretraining cannot readily bridge. We present MatToolBench, the first real-environment benchmark for evaluating multimodal GUI agents on professional materials science software, comprising 204 tasks across 10 tools in three modalities: GUI operation, OriginPro scripting, and code-based database queries, all executed inside a Windows 11 VM. Each task is decomposed into fine-grained sub-criteria by domain experts, enabling interpretable partial-credit scoring; the GUI component of our multi-level evaluation pipeline achieves an average F1 of 0.98. For OriginPro figure-generation tasks, we further conduct a human-LLM agreement study to validate the use of a multimodal judge for secondary aesthetic assessment. Our experiments show that strong performance on general benchmarks does not transfer to professional scientific workflows, and that this gap is not a visual-grounding problem alone: failures arise from domain-specific operational knowledge, sparse pretraining coverage of scientific software, weak cross-tool artifact handoff, and critical states exposed only visually. Even the best model reaches only 25% success rate on GUI tasks and 45% on code tasks. MatToolBench therefore serves as a challenging diagnostic benchmark and real-environment testbed for data-scarce, knowledge-intensive scientific workflows.
• Abstract（参考訳）: マルチモーダルGUIエージェントは、一般的なソフトウェアベンチマークで印象的な結果を得たが、専門家の科学ソフトウェアを運用する能力はほとんど解明されていない。 材料科学では、疎結合なドメイン固有のWebデータ、特殊なインターフェイス、暗黙のワークフローの慣習は、汎用的な事前学習が容易に橋渡しできない盲点を作り出す。 我々は,Windows 11 VM内で実行されるGUI操作,OriginProスクリプティング,コードベースのデータベースクエリという,10のツールにまたがる204のタスクを含む,プロの物質科学ソフトウェア上で,マルチモーダルGUIエージェントを評価するための最初の実環境ベンチマークであるMatToolBenchを紹介する。 各タスクはドメインエキスパートによって細粒度サブ基準に分解され、解釈可能な部分クレディットスコアが可能となり、多レベル評価パイプラインのGUIコンポーネントは平均F1が0.98となる。 OriginProのフィギュアジェネレーションタスクでは、さらに人間とLLMの合意研究を行い、二次麻酔評価のためのマルチモーダル・ジャッジの使用を検証する。 我々の実験は、一般的なベンチマークの強いパフォーマンスは専門的な科学的ワークフローに移行せず、このギャップが視覚的な問題ではないことを示している。 最高のモデルでさえ、GUIタスクで25%の成功率、コードタスクで45%にしか達しません。 それゆえ、MatToolBenchは難しい診断ベンチマークや、データスカースで知識集約的な科学ワークフローのための実環境テストベッドとして機能する。

関連論文リスト

• RecreationWorld: Scalable and Verifiable Environments for Hybrid Computer-Use Agents [53.51359930826217]
  真のデジタルワークには、端から端まで積み重ねるのではなく、両方をインターリーブする必要があります。 インターフェースを探索し、ソフトウェアを実装し、それらのアーティファクトを実行し、視覚的に検証するタイミングを自律的に決定するハイブリッドCUAについて研究する。 レクリエーションを中心に構築された5プラットフォームフレームワークであるRecreationWorldを紹介します。
  論文  参考訳（メタデータ） (2026-09-18T17:00:56Z)
• LabOSBench: Benchmarking Computer Use Agents for Scientific Instrument Control [46.674982266623196]
  LabOSBench(ラボオベンチ)は、ウェブベースの科学計算シミュレータ上に構築されたマルチモーダルGUIエージェントのベンチマークである。 我々は,汎用視覚言語モデル,特殊GUIエージェントモデル,高度なエージェントフレームワークをサブタスクとエンド・ツー・エンドのレベルで評価する。
  論文  参考訳（メタデータ） (2026-06-15T14:42:33Z)
• WindowsWorld: A Process-Centric Benchmark of Autonomous GUI Agents in Professional Cross-Application Environments [34.06270058972]
  WindowsWorldは、現実世界のプロのアクティビティを反映した複雑なマルチステップタスクでGUIエージェントを評価するように設計されている。 本手法では,16の職業によって構成されたマルチエージェント・フレームワークを用いて,4つの困難レベルタスクを生成する。 ベンチマークには181のタスクが含まれ、17の一般的なデスクトップアプリケーションで平均5.0のサブゴールがある。
  論文  参考訳（メタデータ） (2026-04-30T12:13:27Z)
• See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch [20.231957791642635]
  本稿では,Scratchにおけるプログラム・バイ・コンストラクションタスクにおけるマルチモーダルGUIエージェントの評価ベンチマークであるScratchWorldを紹介する。 ScratchWorldは、Create、Debug、Extended、Computeの4つの異なる問題カテゴリにまたがる83のキュレートされたタスクで構成されている。 信頼性の高い評価を実現するため,構築したScratchプログラムの機能的正当性を検証した実行ベース評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-11T12:54:53Z)
• The Tool Decathlon: Benchmarking Language Agents for Diverse, Realistic, and Long-Horizon Task Execution [86.4588675093384]
  Toolathlonは、多様なアプリやツール、現実的な環境設定、信頼性の高い実行ベースの評価を提供する言語エージェントのベンチマークである。 このベンチマークには、手動でソースまたはクラフトされたタスクが108つ含まれており、平均20回以上にわたって複数のアプリと対話する必要がある。 Toolathlonは、より有能な言語エージェントを現実の長期タスク実行のために開発することを期待しています。
  論文  参考訳（メタデータ） (2025-10-29T17:32:49Z)
• ArtifactsBench: Bridging the Visual-Interactive Gap in LLM Code Generation Evaluation [51.297873393639456]
  ArtifactsBenchは自動ビジュアルコード生成評価のためのフレームワークである。 我々のフレームワークは、生成した各アーティファクトをレンダリングし、時間的スクリーンショットを通してその動的な振る舞いをキャプチャする。 我々は1,825の多様なタスクの新しいベンチマークを構築し、30以上の主要な大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2025-07-07T12:53:00Z)
• What Limits Virtual Agent Application? OmniBench: A Scalable Multi-Dimensional Benchmark for Essential Virtual Agent Capabilities [56.646832992178105]
  我々は、制御可能な複雑性のタスクを合成するための自動パイプラインを備えたクロスプラットフォームグラフベースのベンチマークであるOmniBenchを紹介した。 OmniEvalは、サブタスクレベルの評価、グラフベースのメトリクス、および10機能にわたる包括的なテストを含む多次元評価フレームワークである。 我々のデータセットには、20のシナリオにわたる36万のグラフ構造化タスクが含まれており、人間の受け入れ率は91%に達する。
  論文  参考訳（メタデータ） (2025-06-10T15:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。