論文の概要: MolViBench: Evaluating LLMs on Molecular Vibe Coding

• arxiv url: http://arxiv.org/abs/2605.02351v1
• Date: Mon, 04 May 2026 08:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.200171
• Title: MolViBench: Evaluating LLMs on Molecular Vibe Coding
• Title（参考訳）: MolViBench: LLMs on Molecular Vibe Coding の評価
• Authors: Jiatong Li, Yuxuan Ren, Weida Wang, Changmeng Zheng, Xiao-yong Wei, Qing Li, Yatao Bian,
• Abstract要約: MolViBenchは、分子ビブ符号化用に調整された最初のベンチマークである。 MolViBenchは、シングルAPIリコールからエンドツーエンドの仮想スクリーニングパイプライン設計まで、5つの認知レベルにわたる358のキュレートされたタスクで構成されている。
• 参考スコア（独自算出の注目度）: 34.95690336371804
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Molecular Vibe Coding, a paradigm where chemists interact with LLMs to generate executable programs for molecular tasks, has emerged as a flexible alternative to chemical agents with predefined tools, enabling chemists to express arbitrarily complex, customized workflows. Unlike general coding tasks, molecular coding imposes a distinctive challenge that LLMs should jointly equip programming, molecular understanding, and domain-specific reasoning capabilities. However, existing benchmarks remain disconnected. General code generation benchmarks such as HumanEval and SWE-bench require no chemistry knowledge, while chemistry-focused benchmarks such as S^2-Bench and ChemCoTBench evaluate knowledge recall or property prediction rather than executable code generation. To bridge this gap, we introduce MolViBench, the first benchmark tailored for Molecular Vibe Coding. MolViBench comprises 358 curated tasks across five cognitive levels, ranging from single-API recall to end-to-end virtual screening pipeline design, spanning 12 real-world drug discovery workflows. To rigorously assess generated code, we also propose a multi-layered evaluation framework that combines type-aware output comparison and AST-based API-semantic fallback analysis, which jointly measures executability and chemical correctness. We systematically evaluate 9 frontier coding LLMs and compare three real-world Molecular Vibe Coding paradigms, providing a practical and fine-grained testbed for diagnosing LLMs' coding capabilities in AI-accelerated molecular discovery.
• Abstract（参考訳）: 化学者がLCMと相互作用して分子タスクの実行可能なプログラムを生成するパラダイムである分子ビブコーディングは、事前に定義されたツールで化学薬品の代わりに柔軟な代替品として出現し、化学者が任意に複雑でカスタマイズされたワークフローを表現できるようになった。 一般的なコーディングタスクとは異なり、分子コーディングはLLMがプログラミング、分子理解、ドメイン固有の推論能力を共同で備えるべきという独特な課題を課している。 しかし、既存のベンチマークは未接続のままである。 HumanEvalやSWE-benchのような一般的なコード生成ベンチマークは化学知識を必要としないが、S^2-BenchやChemCoTBenchのような化学中心のベンチマークは、実行可能なコード生成よりも知識リコールやプロパティ予測を評価する。 このギャップを埋めるために、分子ビブ符号化に適した最初のベンチマークであるMolViBenchを紹介します。 MolViBenchは、シングルAPIリコールからエンド・ツー・エンドの仮想スクリーニングパイプライン設計まで、12の現実世界のドラッグ発見ワークフローにまたがる5つの認知レベルにわたる358のキュレートされたタスクで構成されている。 生成したコードを厳密に評価するために,タイプアウェア出力比較とASTベースのAPIセマンティックフォールバック分析を組み合わせた多層評価フレームワークを提案する。 我々は、LLMの9つのフロンティア符号化を体系的に評価し、3つの実世界の分子ビブ符号化パラダイムを比較し、AI加速分子発見におけるLLMの符号化能力を診断するための実用的できめ細かいテストベッドを提供する。

関連論文リスト

• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• ChemActor: Enhancing Automated Extraction of Chemical Synthesis Actions with LLM-Generated Data [53.78763789036172]
  ケミカルエグゼキュータとして完全微調整された大規模言語モデル(LLM)であるChemActorを紹介し,非構造化実験手順と構造化動作シーケンスを変換する。 このフレームワークは、分散分散に基づくデータ選択モジュールと汎用LLMを統合し、単一の分子入力からマシン実行可能なアクションを生成する。 反応記述(R2D)と記述記述処理(D2A)のタスクの実験により、ChemActorは最先端のパフォーマンスを達成し、ベースラインモデルよりも10%高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-30T05:11:19Z)
• CheMatAgent: Enhancing LLMs for Chemistry and Materials Science through Tree-Search Based Tool Learning [12.745398618084474]
  大規模言語モデル(LLM)は、最近化学タスクにおいて有望な能力を実証した。 本稿では,基本的な情報検索から複雑な反応予測まで,137種類の外部化学ツールを統合したLCMエージェントを提案する。
  論文  参考訳（メタデータ） (2025-06-09T08:41:39Z)
• SIMCOPILOT: Evaluating Large Language Models for Copilot-Style Code Generation [5.880496520248658]
  SIMCOPILOTは、対話型"コパイロット"スタイルのコーディングアシスタントとして、大規模言語モデル(LLM)の役割をシミュレートするベンチマークである。 ベンチマークには、Java(SIMCOPILOTJ)とPython用の専用のサブベンチマークが含まれている。
  論文  参考訳（メタデータ） (2025-05-21T04:59:44Z)
• Empowering Molecule Discovery for Molecule-Caption Translation with Large Language Models: A ChatGPT Perspective [53.300288393173204]
  大規模言語モデル(LLM)は、様々なクロスモーダルタスクにおいて顕著なパフォーマンスを示している。 本研究では,分子カプセル翻訳のためのインコンテキストFew-Shot Molecule Learningパラダイムを提案する。 分子理解とテキストベースの分子生成を含む分子キャプション翻訳におけるMollReGPTの有効性を評価する。
  論文  参考訳（メタデータ） (2023-06-11T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。