論文の概要: MDGYM: Benchmarking AI Agents on Molecular Simulations
- arxiv url: http://arxiv.org/abs/2605.08941v1
- Date: Sat, 09 May 2026 13:21:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.981175
- Title: MDGYM: Benchmarking AI Agents on Molecular Simulations
- Title（参考訳）: MDGYM: 分子シミュレーションにおけるAIエージェントのベンチマーク
- Abstract要約: LAMMPSとGROMACSにまたがる169のMDシミュレーションのベンチマークであるMDGYMを紹介する。
私たちは、Claude Code、Codex、OpenHandsの3つのエージェントフレームワークを4つのLCMで評価しました。
これらの障害モードは、一般的なソフトウェアエンジニアリングベンチマークで観察されたものとは定性的に異なり、流動的なコード生成が基礎となる物理的推論に移行しないことを示している。
- 参考スコア（独自算出の注目度）: 25.37963706902467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The promise of AI-driven scientific discovery hinges on whether AI agents can autonomously design and execute the computational workflows that underpin modern science. Molecular dynamics (MD) simulation presents a natural test bed to stress-test this claim; it requires translating physical intuition into syntactically and semantically correct input scripts, reasoning about initial and boundary conditions, diagnosing numerically unstable trajectories, and interpreting outputs against known physical behavior and laws. We introduce MDGYM, a benchmark of 169 expert-curated MD simulations spanning LAMMPS and GROMACS, two widely used MD packages, across three increasing difficulty levels. We evaluate three agentic frameworks -- Claude Code, Codex, and OpenHands -- with four LLMs, and find that all perform poorly: even the strongest agent solves only 21\% of easy-level tasks, with less than 10\% at higher difficulties. Trajectory analysis reveals a characteristic pattern of failure -- agents successfully invoke simulation machinery but produce physically unstable configurations, fabricate numerical outputs without executing the underlying computation, or abandon tasks prematurely rather than iterating through simulation-specific errors. These failure modes are qualitatively distinct from those observed in general software engineering benchmarks, indicating that fluent code generation does not transfer to grounded physical reasoning.
- Abstract（参考訳）: AIによる科学的発見の約束は、AIエージェントが近代科学の基盤となる計算ワークフローを自律的に設計し実行できるかどうかにかかっている。
分子動力学(MD)シミュレーションは、この主張をストレステストするために自然なテストベッドを提示し、物理的直観を構文的に、意味的に正しい入力スクリプトに変換すること、初期および境界条件を推論すること、数値的に不安定な軌跡を診断すること、既知の物理的行動や法則に対して出力を解釈することが必要である。
LAMMPSとGROMACSという2つの広く使われているMDパッケージにまたがる169の専門家によるMDシミュレーションのベンチマークであるMDGYMを紹介する。
我々は、Claude Code、Codex、OpenHandsという3つのエージェントフレームワークを4つのLLMで評価し、すべてのパフォーマンスが低いことを発見した。
エージェントはシミュレーション機械をうまく起動するが、物理的に不安定な構成を生成し、基礎となる計算を実行せずに数値出力を作成し、シミュレーション固有のエラーを繰り返すのではなく、早い段階でタスクを放棄する。
これらの障害モードは、一般的なソフトウェアエンジニアリングベンチマークで観察されたものとは定性的に異なり、流動的なコード生成が基礎となる物理的推論に移行しないことを示している。
関連論文リスト
- From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。
本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。
実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
論文 参考訳（メタデータ） (2026-08-27T10:52:06Z) - gwBenchmarks: Stress-Testing LLM Agents on High-Precision Gravitational Wave Astronomy [2.316169407465118]
現代の重力波天文学は、しばしば何ヶ月もの大学院レベルの努力を必要とするモデリングタスクに依存している。
我々は、最先端のLCM符号化エージェントが、このようなエンドツーエンドの科学的モデリングを行うことができるかどうかを考察する。
重力波解析計算と数値シミュレーションに基礎を置く8つのタスクの組であるgwBenchmarksを紹介した。
論文 参考訳（メタデータ） (2026-05-11T21:47:22Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Can Coding Agents Reproduce Findings in Computational Materials Science? [49.254975563645786]
本稿では,大規模言語モデルの科学的主張を再現する能力を評価するためのベンチマークであるAutoMatを紹介する。
課題を専門とする専門家と緊密に連携することで、実際の材料科学論文からの一連の主張をキュレートし、コーディングエージェントがエンドツーエンドのワークフローを回復し実行できるかどうかを検証します。
結果、現在のLSMベースのエージェントはAutoMatの全体的な成功率を低くし、最も優れた設定は54.1%に過ぎなかった。
論文 参考訳（メタデータ） (2026-05-01T17:42:12Z) - Plausible but Wrong: A case study on Agentic Failures in Astrophysical Workflows [10.078675569996992]
CMBAgentを2つのワークフローパラダイムと18の天体物理タスクで評価した。
One-Shot設定では、ドメイン固有のコンテキストへのアクセスは、およそ6倍のパフォーマンス向上をもたらす。
ディープ・リサーチ・セッティングでは、このシステムはストレステスト全体でサイレント障害をしばしば示し、身体的に矛盾した後部を自己診断なしで生成する。
論文 参考訳（メタデータ） (2026-04-28T08:01:23Z) - PhysCodeBench: Benchmarking Physics-Aware Symbolic Simulation of 3D Scenes via Self-Corrective Multi-Agent Refinement [35.63080643326192]
物理を意識した3Dシーンのシンボルシミュレーションは、ロボット工学、AI、科学計算に不可欠である。
我々はPhysCodeBenchを紹介した。PhysCodeBenchは物理学を意識したシンボリックシミュレーションを評価するための、最初の総合的なベンチマークである。
評価フレームワークは、自動的および視覚的評価により、コード実行可能性と身体的精度の両方を測定する。
論文 参考訳（メタデータ） (2026-04-26T07:37:20Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - PhyNiKCE: A Neurosymbolic Agentic Framework for Autonomous Computational Fluid Dynamics [0.0]
この研究は、信頼できるエンジニアリングのためのニューロシンボリック・エージェント・フレームワークであるPhyNiKCEを紹介している。
標準的なブラックボックスエージェントとは異なり、PhyNiKCEはシンボリック検証からニューラルプランニングを分離する。
このアーキテクチャは、幅広い産業自動化において、信頼できる人工知能のためのスケーラブルで監査可能なパラダイムを提供する。
論文 参考訳（メタデータ） (2026-02-12T07:37:56Z) - ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation [72.78362530982109]
ARTIS(Agenic Risk-Aware Test-Time Scaling via Iterative Simulation)は、コミットメントから探索を分離するフレームワークである。
LLMをベースとした簡易シミュレータは, 希少かつ高インパクトな障害モードの捕捉に苦慮していることを示す。
本稿では,障害発生行動の忠実度を強調するリスク認識ツールシミュレータを提案する。
論文 参考訳（メタデータ） (2026-02-02T06:33:22Z) - Chain of Unit-Physics: A Primitive-Centric Approach to Scientific Code Synthesis [0.0]
第一原理(またはプリミティブ)中心のマルチエージェントシステムで、人間の知識をコード生成を明示的に制約する単体物理学テストとしてコード化します。
データセットやモデルが進化するにつれて、ゼロショットコードの精度は向上するが、しかしながら、単位-物理フレームワークの連鎖は、科学的なコードの基本となる第一原理の分析を埋め込むことによってさらに進んでいる。
論文 参考訳（メタデータ） (2025-11-30T18:16:50Z) - SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。
オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。
予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
論文 参考訳（メタデータ） (2025-09-12T02:53:57Z) - Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。
本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。
疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
論文 参考訳（メタデータ） (2022-06-10T04:54:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。