論文の概要: Beyond Chemical QA: Evaluating LLM's Chemical Reasoning with Modular Chemical Operations

• arxiv url: http://arxiv.org/abs/2505.21318v1
• Date: Tue, 27 May 2025 15:15:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.746439
• Title: Beyond Chemical QA: Evaluating LLM's Chemical Reasoning with Modular Chemical Operations
• Title（参考訳）: 化学QAを超えて: LLMの化学推論とモジュラケミカルオペレーションの評価
• Authors: Hao Li, He Cao, Bin Feng, Yanjun Shao, Xiangru Tang, Zhiyuan Yan, Li Yuan, Yonghong Tian, Yu Li,
• Abstract要約: 我々は、分子構造理解を算術に着想を得た演算でブリッジする推論フレームワークであるChemCoTBenchを紹介する。 ChemCoTBenchは、化学的問題解決を透明でステップバイステップの推論に形式化する。 分子特性最適化と化学反応予測という2つの高影響タスクのモデルを評価する。
• 参考スコア（独自算出の注目度）: 43.623140005091535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While large language models (LLMs) with Chain-of-Thought (CoT) reasoning excel in mathematics and coding, their potential for systematic reasoning in chemistry, a domain demanding rigorous structural analysis for real-world tasks like drug design and reaction engineering, remains untapped. Current benchmarks focus on simple knowledge retrieval, neglecting step-by-step reasoning required for complex tasks such as molecular optimization and reaction prediction. To address this, we introduce ChemCoTBench, a reasoning framework that bridges molecular structure understanding with arithmetic-inspired operations, including addition, deletion, and substitution, to formalize chemical problem-solving into transparent, step-by-step workflows. By treating molecular transformations as modular "chemical operations", the framework enables slow-thinking reasoning, mirroring the logic of mathematical proofs while grounding solutions in real-world chemical constraints. We evaluate models on two high-impact tasks: Molecular Property Optimization and Chemical Reaction Prediction. These tasks mirror real-world challenges while providing structured evaluability. By providing annotated datasets, a reasoning taxonomy, and baseline evaluations, ChemCoTBench bridges the gap between abstract reasoning methods and practical chemical discovery, establishing a foundation for advancing LLMs as tools for AI-driven scientific innovation.
• Abstract（参考訳）: 大型言語モデル (LLMs) とChain-of-Thought (CoT) の推論は数学やコーディングにおいて優れているが、化学における体系的な推論の可能性は、薬物設計や反応工学のような現実世界のタスクに対して厳密な構造解析を必要とする領域である。 現在のベンチマークでは、単純な知識検索、分子最適化や反応予測といった複雑なタスクに必要なステップバイステップ推論を無視している。 そこで我々はChemCoTBenchを導入する。ChemCoTBenchは、分子構造理解を、付加、削除、置換を含む算術的な操作でブリッジし、化学的問題解決を透明でステップバイステップのワークフローにフォーマル化する。 分子変換をモジュラーな「化学操作」として扱うことで、このフレームワークは、数学的な証明の論理を反映し、実世界の化学的な制約を解き明かしながら、ゆっくり考える推論を可能にする。 分子特性最適化と化学反応予測という2つの高影響タスクのモデルを評価する。 これらのタスクは、構造化された評価性を提供しながら、現実世界の課題を反映します。 注釈付きデータセット、推論分類、ベースライン評価を提供することで、ChemCoTBenchは抽象的推論方法と実践的な化学発見のギャップを埋め、AI駆動の科学革新のためのツールとしてLLMを前進させるための基盤を確立する。

関連論文リスト

• Chemical reasoning in LLMs unlocks steerable synthesis planning and reaction mechanism elucidation [0.3065062372337749]
  大型言語モデル(LLM)は、従来の検索アルゴリズムと統合された場合、強力な化学推論エンジンとして機能する。 我々はこのパラダイムを,戦略を意識した再合成計画とメカニズム解明という,2つの基本的な課題を通じて実証する。 提案手法は,LSMの戦略的理解と従来の化学ツールの精度を融合した,コンピュータ支援化学の新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2025-03-11T15:27:17Z)
• ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning [64.2106664137118]
  ChemAgentは,大規模言語モデル(LLM)の性能向上を目的とした,新しいフレームワークである。 化学タスクをサブタスクに分解し、これらのサブタスクを将来のクエリに参照可能な構造化されたコレクションにコンパイルすることで開発される。 新しい問題を提示すると、ChemAgentは、私たちがメモリと呼ぶライブラリから関連する情報を検索し、精査する。
  論文  参考訳（メタデータ） (2025-01-11T17:10:30Z)
• ChemLLM: A Chemical Large Language Model [49.308528569982805]
  大規模言語モデル(LLM)は化学応用において顕著な進歩を遂げた。 しかし、コミュニティには化学に特化したLLMが欠落している。 本稿では,化学に特化した最初のLLMを特徴とする包括的フレームワークであるChemLLMを紹介する。
  論文  参考訳（メタデータ） (2024-02-10T01:11:59Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [55.30328162764292]
  Chemist-Xは、化学合成における反応条件最適化(RCO)タスクを自動化する包括的なAIエージェントである。 このエージェントは、検索強化世代(RAG)技術とAI制御のウェットラブ実験を実行する。 我々の自動ウェットラブ実験の結果は、LLMが制御するエンドツーエンドの操作を、ロボットに人間がいない状態で行うことで達成され、Chemist-Xの自動運転実験における能力が証明された。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)
• Advancing Drug Discovery with Enhanced Chemical Understanding via Asymmetric Contrastive Multimodal Learning [23.85388398199658]
  非対称コントラスト型マルチモーダルラーニング(ACML)を導入し,分子理解を高め,創薬の進歩を加速する。 ACMLは効果的な非対称コントラスト学習の力を利用して、様々な化学修飾物から分子グラフ表現への情報をシームレスに伝達する。 このフレームワークの有効性を,大規模な相互モダリティ検索と異性判別タスクによって実証する。
  論文  参考訳（メタデータ） (2023-11-11T01:58:45Z)
• ChemAlgebra: Algebraic Reasoning on Chemical Reactions [16.93639996082923]
  ディープラーニングモデルが推論タスクに取り組む能力を持っているかどうかは不明だ。 ChemAlgebraは、ディープラーニングモデルの推論能力を測定するためのベンチマークである。
  論文  参考訳（メタデータ） (2022-10-05T08:34:44Z)
• Improving Molecular Representation Learning with Metric Learning-enhanced Optimal Transport [49.237577649802034]
  分子レグレッション問題に対する一般化能力を高めるために,MROTと呼ばれる新しい最適輸送ベースアルゴリズムを開発した。 MROTは最先端のモデルよりも優れており、新しい物質の発見を加速する有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-02-13T04:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。