論文の概要: ChemExplain: A Multimodal Benchmark for Explanatory Chemical Reasoning

• arxiv url: http://arxiv.org/abs/2610.17183v1
• Date: Mon, 12 Oct 2026 17:53:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.431826
• Title: ChemExplain: A Multimodal Benchmark for Explanatory Chemical Reasoning
• Title（参考訳）: ChemExplain: 説明化学推論のためのマルチモーダルベンチマーク
• Abstract要約: 現在の化学ベンチマークは、主に結果予測または反応経路の生成を評価する。 我々は383のピアレビュー論文から抽出した1,180の多重選択化学質問のベンチマークであるChemExplainを紹介する。 最も評価の高いモデルは78.6%の精度に達し、改善の余地が残されている。
• 参考スコア（独自算出の注目度）: 14.233078471298782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current chemistry benchmarks primarily evaluate outcome prediction or reaction pathway generation, but rarely test whether a model can explain why an observed chemical effect occurs. We introduce ChemExplain, a benchmark of 1,180 multiple-choice chemistry questions drawn from 383 peer-reviewed papers. Each question pairs a molecular or reaction image with an observed chemical effect and four candidate explanations, each associated with a different structural feature visible in the image. Answering requires the model to perceive the depicted structure, apply chemical knowledge, and identify which feature most directly explains the effect, a capability we term explanatory attribution. The correct feature-mechanism relation is derived from supporting evidence in the source paper rather than invented by the question-generation LLM. We construct the benchmark automatically with a multi-agent framework that applies progressive quality control at three stages and validate it with eight chemistry domain experts. The strongest evaluated model reaches 78.6% accuracy, leaving considerable room for improvement. On a 600-question expert-reviewed subset, reasoning-trace analysis classifies 71.4% of the strongest model's errors as attribution failures. Attribution is also the largest error category for the open-source and chemistry-specific models included in our analysis.
• Abstract（参考訳）: 現在の化学ベンチマークは、主に結果予測や反応経路の生成を評価するが、なぜ観察された化学効果が生じるのかをモデルが説明できるかどうかを検査することは稀である。 我々は383のピアレビュー論文から抽出した1,180の多重選択化学質問のベンチマークであるChemExplainを紹介する。 各質問は、分子または反応画像と、観察された化学効果と4つの候補説明とをペアリングし、それぞれが画像で見える異なる構造的特徴と関連付けられている。 回答には、描写された構造を知覚し、化学知識を適用し、どの特徴が効果を最も直接的に説明するかを特定する必要がある。 正確な特徴-力学関係は、疑問生成LSMによって発明されたのではなく、原論文における支持証拠から導かれる。 我々は,3段階のプログレッシブ品質制御を適用したマルチエージェントフレームワークを用いて,ベンチマークを自動的に構築し,化学分野の専門家8人と検証する。 最も評価の高いモデルは78.6%の精度に達し、改善の余地が残されている。 600-questionのエキスパートレビューされたサブセットでは、推論トレース分析は、最も強いモデルのエラーの71.4%を属性失敗として分類する。 属性はまた、我々の分析に含まれるオープンソースおよび化学特化モデルの最大のエラーカテゴリである。

関連論文リスト

• From Answers to States: Verifiable Process-Level Evaluation of Chemical Reasoning in Large Language Models [37.34302729762671]
  ChemCoTBench-V2は、構造化された検証可能な化学推論トレースの評価のための、ルール検証可能な診断ベンチマークである。 分子理解、分子編集、分子最適化、反応予測にまたがっており、18の報告タスクで5,620個の評価サンプルがある。
  論文  参考訳（メタデータ） (2026-06-02T13:47:19Z)
• Chem4DLLM: 4D Multimodal LLMs for Chemical Dynamics Understanding [52.499532583297885]
  ChemDUは4D分子軌道を解釈可能な自然言語の説明に変換する。 ChemDUは、ガス相と触媒反応を含む基本的な動的シナリオに焦点を当てている。 Chem4DBenchは4D分子軌道と専門家による説明を組み合わせた最初のデータセットである。
  論文  参考訳（メタデータ） (2026-03-12T13:36:58Z)
• SUPERChem: A Multimodal Reasoning Benchmark in Chemistry [47.60627566673109]
  SUPERChemは、500人の専門家による推論集約化学問題のベンチマークである。 それぞれの問題は、専門家によるソリューションパスとペアリングされます。 人間のベースラインに対する評価は40.3%の精度で、最高のパフォーマンスモデルであるGPT-5(High)でさえ38.5%にしか達していない。
  論文  参考訳（メタデータ） (2025-12-01T04:46:35Z)
• From What to Why: A Multi-Agent System for Evidence-based Chemical Reaction Condition Reasoning [15.34060627861624]
  ChemMASは、条件予測をエビデンスベースの推論タスクとして再設定するマルチエージェントシステムである。 ChemMASはドメイン固有のベースラインよりも20～35%向上し、Top-1精度で汎用LLMを10～15%上回る。
  論文  参考訳（メタデータ） (2025-09-28T09:34:35Z)
• Learning Chemical Reaction Representation with Reactant-Product Alignment [50.28123475356234]
  RAlignは、様々な有機反応関連タスクのための新しい化学反応表現学習モデルである。 反応物質と生成物との原子対応を統合することにより、反応中に起こる分子変換を識別する。 モデルが重要な機能群に集中できるように,反応中心認識型アテンション機構を導入する。
  論文  参考訳（メタデータ） (2024-11-26T17:41:44Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [70.66610054938052]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)
• Rxn Hypergraph: a Hypergraph Attention Model for Chemical Reaction Representation [70.97737157902947]
  現在、化学反応を強固に表現するための普遍的で広く採用されている方法は存在しない。 ここでは、グラフに基づく分子構造の表現を利用して、ハイパーグラフアテンションニューラルネットワークアプローチを開発し、テストする。 我々はこのハイパーグラフ表現を3つの独立な化学反応データセットを用いて3つの実験で評価した。
  論文  参考訳（メタデータ） (2022-01-02T12:33:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。