論文の概要: MolDesignBench: Evaluating LLM-based Agent for Scenario-grounded Molecular Design

• arxiv url: http://arxiv.org/abs/2609.27349v1
• Date: Wed, 23 Sep 2026 04:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.887388
• Title: MolDesignBench: Evaluating LLM-based Agent for Scenario-grounded Molecular Design
• Title（参考訳）: MolDesignBench:シナリオ基底分子設計のためのLCMベースのエージェントの評価
• Abstract要約: MolDesignBenchは、ツール拡張大型言語モデル(LLM)エージェントを評価するためのシナリオグラウンドのベンチマークである。 実験の結果、成功率の低いことが判明した。最高は$sim43$%で、暗黙の制約推論、不実現性検出、ツール推論で頻繁に失敗する。
• 参考スコア（独自算出の注目度）: 10.054781285418843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real-world molecular design remains challenging for large language model (LLM)-based agents. It requires them to interpret design contexts, satisfy multiple constraints, identify infeasible specifications, and reason over multi-step tool outputs. Existing benchmarks do not capture this complexity, focusing instead on explicit and narrow constraints, only feasible problems, and single-path solutions. To address this gap, we propose MolDesignBench, a scenario-grounded benchmark that more closely reflects real-world molecular design for evaluating tool-augmented LLM agents. MolDesignBench comprises 2K generation and optimization instances that combine implicit requirements embedded in design narratives with explicit property and functional-group constraints, including infeasible cases, and require the effective use of 17 specialized chemistry tools. Experiments across diverse frontier LLMs reveal low success rates--with the best achieving only $\sim43$\%--and frequent failures in implicit-constraint reasoning, infeasibility detection, and tool reasoning. The corresponding fine-grained failure-mode analysis identifies implicit constraint interpretation and infeasibility detection as the primary bottlenecks, establishing MolDesignBench as a rigorous testbed to guide future research on chemical agents. The benchmark, tool interface, and evaluation code are publicly available.
• Abstract（参考訳）: 現実世界の分子設計は、大規模言語モデル(LLM)ベースのエージェントでは依然として困難である。 設計コンテキストを解釈し、複数の制約を満足し、実現不可能な仕様を特定し、多段階ツール出力よりも理由付けする必要がある。 既存のベンチマークはこの複雑さを捉えず、明示的で狭い制約に焦点を合わせ、実現可能な問題と単一パスソリューションにのみ焦点をあてる。 このギャップに対処するために,ツール拡張LDMエージェント評価のための実世界の分子設計をより深く反映した,シナリオグラウンドのベンチマークであるMolDesignBenchを提案する。 MolDesignBenchは、2K生成と最適化のインスタンスで構成されており、設計の物語に埋め込まれた暗黙の要求と明示的な特性と機能的なグループ制約を組み合わせており、17の専門的な化学ツールを効果的に利用する必要がある。 さまざまなフロンティア LLM に対する実験では、成功率が低く、最も高いのは、暗黙の制約推論、実現不可能検出、ツール推論における頻繁な障害のみである。 対応するきめ細かい欠陥モード解析は、暗黙の制約解釈と不実現性検出を主要なボトルネックとして特定し、MoldDesignBenchを化学薬品の研究をガイドするための厳密な試験台として確立した。 ベンチマーク、ツールインターフェース、評価コードが公開されている。

関連論文リスト

• From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
  大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。 本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。 実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
  論文  参考訳（メタデータ） (2026-08-27T10:52:06Z)
• MolLingo: Molecule-Native Representations for LLM-Powered Scientific Agents [57.28652712579434]
  分子設計を自動化するために化学者の推論過程をエミュレートするマルチエージェントシステムであるMolLingoを提案する。 MolLingoは、共有メモリモジュールを通じて、文学エージェント、化学エージェント、オーケストレーションをコーディネートすることで、この問題に対処する。 初期治療設計におけるケーススタディとして、MolLingoは、結合部位の幾何学と残基レベルのタンパク質コンテキストにおけるChemist Agentの推論を根拠にしている。
  論文  参考訳（メタデータ） (2026-05-27T02:11:23Z)
• FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
  大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。 しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。 これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-28T02:21:53Z)
• CCTU: A Benchmark for Tool Use under Complex Constraints [66.87622847854337]
  複雑な制約下での大規模言語モデル(LLM)を評価するためのベンチマークであるCCTUを紹介する。 ベンチマークは、さまざまなツール使用シナリオに対して、慎重にキュレートされ、挑戦的なテストケースが200から成っている。 ステップレベルの検証を行い、コンプライアンスを強制する実行可能な制約検証モジュールを開発する。
  論文  参考訳（メタデータ） (2026-03-16T14:05:13Z)
• Empowering LLMs for Structure-Based Drug Design via Exploration-Augmented Latent Inference [5.052013621974765]
  大言語モデル(LLM)は、表現力と推論能力を持っているが、構造に基づく薬物設計(SBDD)への応用は、タンパク質構造や予測不可能な分子生成の理解が不十分なため制限されている。 本研究では,LLM生成過程を符号化,遅延空間探索,復号化ワークフローとして再解釈するフレームワークであるELILLM(Exploration-Augmented Latent Inference for LLMs)を提案する。 ELILLMは、デコードモジュールを使用して、よく知られた領域を処理し、化学的に有効で合成学的に合理的な分子を生成することで、モデル現在の知識を超えた設計問題の部分を明示的に探求する。
  論文  参考訳（メタデータ） (2026-01-20T08:10:48Z)
• Task-Specific Sparse Feature Masks for Molecular Toxicity Prediction with Chemical Language Models [5.563119267291969]
  本稿では,精度と解釈可能性の両立を図るために,新しいマルチタスク学習(MTL)フレームワークを提案する。 我々のアーキテクチャは、共通化学言語モデルとタスク固有のアテンションモジュールを統合している。 これらのモジュールにL1のスパーシリティのペナルティを課すことにより、このフレームワークは個々の毒性エンドポイントに対して最小限の塩分分子フラグメントに焦点を絞ることに制約される。
  論文  参考訳（メタデータ） (2025-12-12T09:41:04Z)
• Adaptive Tool Use in Large Language Models with Meta-Cognition Trigger [49.81945268343162]
  我々は,外部ツール利用のための適応型意思決定戦略であるMeCoを提案する。 MeCoは、表現空間内の高レベル認知信号をキャプチャすることで、メタ認知スコアを定量化する。 MeCoは微調整不要で、最小限のコストがかかる。
  論文  参考訳（メタデータ） (2025-02-18T15:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。