論文の概要: OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software

• arxiv url: http://arxiv.org/abs/2609.39903v1
• Date: Wed, 30 Sep 2026 15:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.954501
• Title: OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software
• Title（参考訳）: OSWorld-Science:科学ソフトウェアを学習・使用するためのコンピュータ利用エージェントのベンチマーク
• Abstract要約: OSWorldScienceは、科学的に意味のあるタスク、アーティファクト評価、効率的なエージェントハーネスを組み合わせたベンチマークと評価環境である。 ベンチマークには12のVLMと、いくつかの科学領域とソフトウェア構成にわたる146の高品質タスクが含まれている。 以上の結果から,現在の最先端のVLMは,科学的領域において重要な問題に対処する上で,依然として課題に直面していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 54.375425166090245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific software presents a demanding test for computer-using agents based on visual language models (VLMs): completing a research workflow requires interpreting specialized interfaces, manipulating scientific objects, and producing verifiable results. We thus introduce OSWorld-Science, a benchmark and evaluation environment that combines scientifically meaningful tasks, artifact-based evaluation, and an efficient agent harness for studying computer use in the scientific domain. The benchmark contains 12 VLMs and 146 high-quality tasks across several scientific domains and software configurations, covering workflows such as molecular drawing and retrosynthesis, pathology image analysis, statistical computing, and physical simulation. Tasks are developed through expert proposals and iterative human--AI co-design, with selection guided by scientific value and difficulty. Task-specific execution-based evaluators inspect application states and generated artifacts, including molecular structures, segmentation masks, plots, and numerical results, and award partial credit for incomplete outcomes. Our special harness integrates model adapters, interaction-loop control, and trajectory logging to support comparisons of models and interaction strategies. Our results show that current state-of-the-art VLMs with a strong harness still face challenges in addressing key questions in the scientific domains. We also analyze the benchmarking results across multi-linguistics, reasoning efforts, context length and other factors and derive several important conclusions and directions to assist future development. Overall, we provide an integrated framework connecting expert-defined scientific goals to verifiable software outcomes, enabling systematic evaluation of both agent capabilities and harness design in scientific workflows.
• Abstract（参考訳）: 科学ソフトウェアは、視覚言語モデル(VLM)に基づくコンピュータ使用エージェントの要求テストを提示し、研究ワークフローを完了するには、特殊なインターフェースの解釈、科学オブジェクトの操作、検証可能な結果の生成が必要である。 そこで我々は,OSWorld-Scienceという,科学的に意味のあるタスク,アーティファクトに基づく評価と,科学領域におけるコンピュータ利用を研究するための効率的なエージェントハーネスを組み合わせたベンチマークと評価環境を導入する。 ベンチマークには12のVLMと146の高品質タスクが含まれており、分子図面や逆合成、病理画像解析、統計計算、物理シミュレーションなどのワークフローをカバーしている。 課題は専門家の提案と反復的人間-AI共同設計によって開発され、科学的価値と難易度によって選択が導かれる。 タスク固有の実行ベースの評価器は、分子構造、セグメンテーションマスク、プロット、数値結果など、アプリケーション状態と生成されたアーティファクトを検査し、不完全な結果に対して部分的にクレジットを与える。 我々の特別なハーネスは、モデルアダプタ、対話ループ制御、トラジェクトリロギングを統合し、モデルとインタラクション戦略の比較を支援する。 以上の結果から,現在の最先端のVLMは,科学的領域において重要な問題に対処する上で,依然として課題に直面していることが明らかとなった。 また,多言語,推論,文脈長,その他の要因のベンチマーク結果を分析し,今後の開発を支援するための重要な結論と方向性を導出する。 全体として、専門家が定義した科学的目標とソフトウェア結果の検証を結びつける統合フレームワークを提供し、科学的ワークフローにおけるエージェント能力と設計の体系的な評価を可能にする。

関連論文リスト

• SciVisAgentBench: A Benchmark for Evaluating Scientific Data Analysis and Visualization Agents [12.966844873205048]
  SciVisAgentBenchは、科学データ分析および可視化エージェントを評価するための基本的なベンチマークである。 私たちのベンチマークは、アプリケーションドメイン、データタイプ、複雑性レベル、可視化操作の4つの次元にまたがる構造化分類に基づいています。 現在、さまざまなSciVisシナリオをカバーする108のエキスパートクラフトケースで構成されている。
  論文  参考訳（メタデータ） (2026-03-31T01:41:28Z)
• AInsteinBench: Benchmarking Coding Agents on Scientific Repositories [33.48206557020983]
  AInsteinBenchは、大規模言語モデル(LLM)エージェントが科学計算開発エージェントとして動作するかどうかを評価するための大規模なベンチマークである。 AInsteinBenchは、表面レベルのコード生成を超えて、計算科学研究に必要なコア能力に移行するモデルの能力を測定する。
  論文  参考訳（メタデータ） (2025-12-24T08:11:11Z)
• TusoAI: Agentic Optimization for Scientific Methods [16.268579802762247]
  大規模言語モデル(LLM)は、文学の合成、経験的データによる推論、ドメイン固有コードの生成において強力な能力を示している。 本稿では,評価機能を備えた科学的タスク記述を行うエージェントAIシステムであるTusoAIを紹介する。 TusoAIはドメイン知識を知識ツリー表現に統合し、反復的でドメイン固有の最適化とモデル診断を行う。
  論文  参考訳（メタデータ） (2025-09-28T17:30:44Z)
• A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
  科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。 この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。 我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
  論文  参考訳（メタデータ） (2025-08-28T18:30:52Z)
• Dynamic Knowledge Exchange and Dual-diversity Review: Concisely Unleashing the Potential of a Multi-Agent Research Team [53.38438460574943]
  IDVSCIは、大規模言語モデル(LLM)上に構築されたマルチエージェントフレームワークである。 動的知識交換機構とデュアルダイバーシティ・レビュー・パラダイムという2つの重要なイノベーションが組み込まれている。 結果は、IDVSCIが2つのデータセットで常に最高のパフォーマンスを達成していることを示している。
  論文  参考訳（メタデータ） (2025-06-23T07:12:08Z)
• ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows [82.07367406991678]
  大規模言語モデル(LLM)は自然言語処理を超えてその影響を拡大している。 これらのうち、コンピュータ利用エージェントは、人間がしているようにオペレーティングシステムと対話することができる。 我々はScienceBoardを紹介し、ダイナミックで視覚的にリッチな科学ソフトウェアを特徴とする現実的でマルチドメイン環境を包含する。
  論文  参考訳（メタデータ） (2025-05-26T12:27:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。