論文の概要: MDArena: Evaluating Coding Agents on Realistic Molecular Dynamics Workflows
- arxiv url: http://arxiv.org/abs/2608.02642v1
- Date: Fri, 31 Jul 2026 13:48:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.872977
- Title: MDArena: Evaluating Coding Agents on Realistic Molecular Dynamics Workflows
- Title（参考訳）: MDArena: リアルな分子動力学ワークフローにおける符号化エージェントの評価
- Abstract要約: 活性分子シミュレーションプロジェクトから得られた50のコンテナ化タスクのベンチマークであるMDArenaを紹介する。
CodexとOpenCodeにまたがる6つのモデル/ハーネス構成を評価した。
評価された構成の中で、高度に推理されたCodex GPT-5.5は、24/50 Strict successes@1 (48%)、Codex GPT-5.5 Mediumが21/50、OpenCode Gemini Flash 3.5が20/50に達した。
- 参考スコア（独自算出の注目度）: 20.54127577222597
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Accelerating scientific discovery is among the most consequential applications of AI, and computational biomolecular simulation stands out as a particularly promising target within this broader effort. Coding agents promise to automate significant portions of this workflow, yet their reliability on realistic molecular dynamics (MD) tasks remains poorly characterized. To address this issue, we introduce MDArena, a benchmark of 50 containerized tasks drawn from active biomolecular simulation projects, spanning 29 molecular systems and 14 broad research protocols, including trajectory analysis, complex system preparation, free-energy protocols, and enhanced sampling. We evaluate six model/harness configurations spanning Codex and OpenCode. Among the evaluated configurations, Codex GPT-5.5 at extra-high reasoning effort performs best, reaching 24/50 Strict-Pass@1 successes (48%), followed by Codex GPT-5.5 Medium with 21/50, and OpenCode Gemini Flash 3.5 with 20/50. Average correctness and process rewards are substantially higher than strict success rates across all configurations, indicating that agents frequently make meaningful partial progress but fail on the fine-grained details required for reproducible scientific workflows. Hard tasks remain largely unsolved, particularly membrane-protein system preparation and alchemical free-energy setup, both unsolved or near-unsolved by every evaluated configuration. MDArena thus exposes a substantial gap between the usefulness of coding agents as supervised assistants and their reliability as autonomous MD researchers, while providing a reproducible and extensible platform for tracking progress toward closing it.
- Abstract（参考訳）: 科学的な発見の加速は、AIの最も連続的な応用の一つであり、計算生分子シミュレーションは、この幅広い取り組みの中で特に有望なターゲットである。
符号化エージェントはこのワークフローのかなりの部分を自動化することを約束するが、現実的な分子動力学(MD)タスクに対する信頼性は依然として不十分である。
MDArenaは、29の分子系と14の幅広い研究プロトコルにまたがる、活発な生体分子シミュレーションプロジェクトから引き出された50のコンテナ化されたタスクのベンチマークである。
CodexとOpenCodeにまたがる6つのモデル/ハーネス構成を評価した。
評価された構成のうち、Codex GPT-5.5は、超高推理努力で、24/50 Strict-Pass@1成功(48%)、Codex GPT-5.5 Mediumが21/50、OpenCode Gemini Flash 3.5が20/50に達した。
平均的正しさとプロセス報酬は、すべての構成において厳密な成功率よりもかなり高く、エージェントがしばしば意味のある部分的な進歩をするが、再現可能な科学的ワークフローに必要な細かな詳細に失敗することを示している。
ハードタスクは主に未解決であり、特に膜タンパク質システムの準備とアルケミカルフリーエネルギーのセットアップは、評価された構成ごとに未解決またはほぼ未解決である。
したがって、MDArenaは、教師付きアシスタントとしてのコーディングエージェントの有用性と自律的なMD研究者としての信頼性の間に大きなギャップを生じさせ、それを閉じるための進捗を追跡する再現可能で拡張可能なプラットフォームを提供する。
関連論文リスト
- OpenAI4S: Code as Action, Science as Sessions [57.428071188574]
我々は、emphCode as Action, Science as Sessionsという原則に基づいて構築されたオープンソースの科学研究エージェントOpenAI4Sを紹介する。
OpenAI4Sは、永続化コンピューティングランタイムとリサーチセッション管理オーケストレーションを組み合わせることで、構造化されたツールコールによって処理される。
再合成, 分子タンパク質結合体設計, タンパク質変異, 触媒スクリーニング, ミネラルスペクトロスコピーを含む36種類の研究シナリオにおけるOpenAI4Sの評価を行った。
論文 参考訳（メタデータ） (2026-09-14T06:16:59Z) - Mix-Quant: Quantized Prefilling, Precise Decoding for Agentic LLMs [78.01752802974855]
高速エージェント推論のための簡易かつ効果的な位相認識量子化フレームワークであるMix-Quantを提案する。
我々は,Mix-Quantがタスク性能を保ち,高い効率向上を実現し,プリフィル時に最大3倍の高速化を実現していることを示す。
論文 参考訳（メタデータ） (2026-05-19T17:50:17Z) - MDGYM: Benchmarking AI Agents on Molecular Simulations [25.37963706902467]
LAMMPSとGROMACSにまたがる169のMDシミュレーションのベンチマークであるMDGYMを紹介する。
私たちは、Claude Code、Codex、OpenHandsの3つのエージェントフレームワークを4つのLCMで評価しました。
これらの障害モードは、一般的なソフトウェアエンジニアリングベンチマークで観察されたものとは定性的に異なり、流動的なコード生成が基礎となる物理的推論に移行しないことを示している。
論文 参考訳（メタデータ） (2026-05-09T13:21:51Z) - Mimosa Framework: Toward Evolving Multi-Agent Systems for Scientific Research [2.4251063179584436]
Mimosaは、タスク固有のマルチエージェントを自動的に合成し、それを反復的に洗練する進化中のマルチエージェントフレームワークである。
Mimosaは完全なオープンソースプラットフォームとしてリリースされ、コミュニティ主導のASRのためのオープンな基盤を提供することを目指している。
論文 参考訳（メタデータ） (2026-03-30T20:35:57Z) - DynaMate: An Autonomous Agent for Protein-Ligand Molecular Dynamics Simulations [13.253932177045842]
力場に基づく分子動力学(MD)シミュレーションは、生体分子系の構造、力学、機能を知るのに不可欠である。
MDセットアップの技術的な複雑さは、パラメータ化、入力準備、ソフトウェア構成を含んでおり、広く効率的な使用の障壁となっている。
本稿では,タンパク質リガンドシステムとタンパク質リガンドシステムの両方の完全なMDを自律的に設計し,実行するモジュール型マルチエージェントフレームワークであるDynaMateを紹介する。
論文 参考訳（メタデータ） (2025-12-10T19:40:51Z) - Simple Agents Outperform Experts in Biomedical Imaging Workflow Optimization [69.36509281190662]
生産レベルのコンピュータビジョンツールを科学データセットに適応させることは、重要な"ラストマイル"ボトルネックである。
我々は、AIエージェントを使ってこの手動コーディングを自動化し、最適なエージェント設計のオープンな問題に焦点を当てる。
簡単なエージェントフレームワークが、人間-専門家のソリューションよりも優れた適応コードを生成することを実証する。
論文 参考訳（メタデータ） (2025-12-02T18:42:26Z) - MM-HELIX: Boosting Multimodal Long-Chain Reflective Reasoning with Holistic Platform and Adaptive Hybrid Policy Optimization [103.74675519953898]
ロングチェーンのリフレクティブ推論は、複雑な現実世界の問題を解決するための前提条件である。
我々は42の難解な合成タスクの1,260のサンプルからなるベンチマークを構築した。
トレーニング後のデータを生成し、そのようなデータを活用するための学習パラダイムを探索する。
論文 参考訳（メタデータ） (2025-10-09T17:53:58Z) - CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。
単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。
本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
論文 参考訳（メタデータ） (2025-10-03T17:30:16Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Superior Molecular Representations from Intermediate Encoder Layers [0.006860025762294234]
5種類の分子エンコーダにおける情報の流れを解析し,中間層がより汎用的な特徴を持つことを示す。
最適中間層からの凍結埋め込みを用いることで,最終層に比べて平均5.4%のダウンストリーム性能が28.6%向上することがわかった。
論文 参考訳（メタデータ） (2025-06-06T18:03:51Z) - MDCrow: Automating Molecular Dynamics Workflows with Large Language Models [0.6130124744675498]
分子動力学シミュレーションを自動化可能なエージェントLLMアシスタントであるMDCrowを紹介する。
必要なサブタスクと難易度が異なる25タスクにまたがるMDCrowの性能を評価し,難易度と易易度の両方に対するエージェントの頑健さを評価する。
論文 参考訳（メタデータ） (2025-02-13T18:19:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。