論文の概要: SUPERChem: A Multimodal Reasoning Benchmark in Chemistry

• arxiv url: http://arxiv.org/abs/2512.01274v1
• Date: Mon, 01 Dec 2025 04:46:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.685583
• Title: SUPERChem: A Multimodal Reasoning Benchmark in Chemistry
• Title（参考訳）: SuperPERChem: 化学におけるマルチモーダル推論ベンチマーク
• Abstract要約: SUPERChemは、500人の専門家による推論集約化学問題のベンチマークである。 それぞれの問題は、専門家によるソリューションパスとペアリングされます。 人間のベースラインに対する評価は40.3%の精度で、最高のパフォーマンスモデルであるGPT-5(High)でさえ38.5%にしか達していない。
• 参考スコア（独自算出の注目度）: 47.60627566673109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current benchmarks for evaluating the chemical reasoning capabilities of Large Language Models (LLMs) are limited by oversimplified tasks, lack of process-level evaluation, and misalignment with expert-level chemistry skills. To address these issues, we introduce SUPERChem, a benchmark of 500 expert-curated reasoning-intensive chemistry problems, covering diverse subfields and provided in both multimodal and text-only formats. Original content and an iterative curation pipeline eliminate flawed items and mitigate data contamination. Each problem is paired with an expert-authored solution path, enabling Reasoning Path Fidelity (RPF) scoring to evaluate reasoning quality beyond final-answer accuracy. Evaluations against a human baseline of 40.3% accuracy show that even the best-performing model, GPT-5 (High), reaches only 38.5%, followed closely by Gemini 2.5 Pro (37.9%) and DeepSeek-V3.1-Think (37.3%). SUPERChem elicits multi-step, multimodal reasoning, reveals model-dependent effects of visual information, and distinguishes high-fidelity reasoners from heuristic ones. By providing a challenging benchmark and a reliable evaluation framework, SUPERChem aims to facilitate the advancement of LLMs toward expert-level chemical intelligence. The dataset of the benchmark is available at https://huggingface.co/datasets/ZehuaZhao/SUPERChem.
• Abstract（参考訳）: 大規模言語モデル(LLM)の化学推論能力を評価するための現在のベンチマークは、過度に単純化されたタスク、プロセスレベルの評価の欠如、専門家レベルの化学技術との相違によって制限されている。 これらの問題に対処するため,500人の専門家による推論集約型化学問題のベンチマークである SUPERChem を導入し,多様なサブフィールドをカバーし,マルチモーダルおよびテキストのみのフォーマットで提供される。 オリジナルコンテンツと反復キュレーションパイプラインは、欠陥のあるアイテムを排除し、データの汚染を軽減する。 各問題は、専門家が認可したソリューションパスと組み合わせて、推論品質を最終回答精度を超えて評価するReasoning Path Fidelity (RPF) スコアを可能にする。 人間のベースラインを40.3%精度で評価すると、最高のパフォーマンスモデルであるGPT-5(High)でさえ38.5%に達し、続いてGemini 2.5 Pro(37.9%)とDeepSeek-V3.1-Think(37.3%)が続いた。 SUPERChemは多段階のマルチモーダル推論を導入し、視覚情報のモデル依存効果を明らかにし、高忠実度推論とヒューリスティック推論を区別する。 SUPERChemは、挑戦的なベンチマークと信頼性評価フレームワークを提供することで、専門家レベルの化学知能へのLCMの進歩を促進することを目指している。 ベンチマークのデータセットはhttps://huggingface.co/datasets/ZehuaZhao/SUPERChemで公開されている。

関連論文リスト

• ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation [18.06583682294473]
  ChemDIRTは、大規模言語モデルにおける化学推論の堅牢性を評価するために設計された包括的な評価フレームワークである。 化学タスクの8つのカテゴリにまたがりながら、命令や分子表現のバリエーションにまたがるパフォーマンスを測定する。 オープンおよびクローズドなLCMの多様なセットをベンチマークし、タスクファミリ間での相当な迅速な感度、表現依存、不均一なパフォーマンスを明らかにした。
  論文  参考訳（メタデータ） (2026-08-21T16:58:30Z)
• From Answers to States: Verifiable Process-Level Evaluation of Chemical Reasoning in Large Language Models [37.34302729762671]
  ChemCoTBench-V2は、構造化された検証可能な化学推論トレースの評価のための、ルール検証可能な診断ベンチマークである。 分子理解、分子編集、分子最適化、反応予測にまたがっており、18の報告タスクで5,620個の評価サンプルがある。
  論文  参考訳（メタデータ） (2026-06-02T13:47:19Z)
• Can Agents Price a Reaction? Evaluating LLMs on Chemical Cost Reasoning [31.064444347894565]
  大規模言語モデル(LLM)は、ツール使用エージェントとしてますます機能してきている。 ChemCostは、2,261の化学物質と230,775のサプライヤの見積もりをカバーする、凍結価格スナップショットに基づく1,427個の評価可能な反応のベンチマークである。 フロンティア、オープンウェイト、化学特殊化LLMエージェントを用いた実験では、ツールアクセスは必要だが、タスクの解決には不十分であることが示されている。
  論文  参考訳（メタデータ） (2026-05-08T05:19:59Z)
• RxnBench: A Multimodal Benchmark for Evaluating Large Language Models on Chemical Reaction Understanding from Scientific Literature [25.978951548176706]
  RxnBenchは科学的なPDFから化学反応を理解する上でMLLMを厳格に評価するためのベンチマークである。 RxnBenchは2つのタスクからなる: きめ細かい視覚知覚と機械的推論をテストするシングルフィギュアQA (SF-QA) と、108の記事から情報を合成するためのモデルに挑戦するフルドキュメントQA (FD-QA) である。 MLLMの評価は, 明確なテキストの抽出に優れたモデルではあるものの, 深層化学論理と正確な構造認識に苦慮している。
  論文  参考訳（メタデータ） (2025-12-29T16:05:38Z)
• ChemLabs on ChemO: A Multi-Agent System for Multimodal Reasoning on IChO 2025 [10.434011696348561]
  ChemOは、国際化学オリンピック(IChO)2025から開発された新しいベンチマークである。 ChemLabsは、人間の専門家のコラボレーションを模倣する階層的なマルチエージェントフレームワークである。 我々のトップ構成は100点中93.6点に達し、人間の金メダルの閾値を上回ります。
  論文  参考訳（メタデータ） (2025-11-20T10:15:39Z)
• QCBench: Evaluating Large Language Models on Domain-Specific Quantitative Chemistry [19.804237919102903]
  QCBenchは7つの化学サブフィールドにわたる350の計算化学問題からなる定量化学指向のベンチマークである。 それぞれの問題は、ショートカットを防止し、明示的な数値推論を要求するように構成されている。 QCBenchは、計算の弱点のきめ細かい診断を可能にし、モデル固有の制限を明らかにし、将来の改善の基盤となる。
  論文  参考訳（メタデータ） (2025-08-03T08:55:42Z)
• ChemAU: Harness the Reasoning of LLMs in Chemical Research with Adaptive Uncertainty Estimation [21.30938446415292]
  化学問題は通常、特定の用語を含む長い複雑な推論ステップを含む。 ChemAUは化学知識のギャップを特定し、特殊なドメインモデルで化学の専門知識を正確に補う。
  論文  参考訳（メタデータ） (2025-06-01T18:45:49Z)
• ChemAgent: Self-updating Library in Large Language Models Improves Chemical Reasoning [64.2106664137118]
  ChemAgentは,大規模言語モデル(LLM)の性能向上を目的とした,新しいフレームワークである。 化学タスクをサブタスクに分解し、これらのサブタスクを将来のクエリに参照可能な構造化されたコレクションにコンパイルすることで開発される。 新しい問題を提示すると、ChemAgentは、私たちがメモリと呼ぶライブラリから関連する情報を検索し、精査する。
  論文  参考訳（メタデータ） (2025-01-11T17:10:30Z)
• Benchmarking large language models for materials synthesis: the case of atomic layer deposition [0.07528462379265576]
  材料合成における大規模言語モデル(LLM)の性能を評価するために,オープンな質問ベンチマークであるALDbenchを導入する。 我々のベンチマークは、大学院レベルから分野の最先端のドメインエキスパートまで、難易度の高い質問で構成されています。
  論文  参考訳（メタデータ） (2024-12-13T05:10:29Z)
• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [70.66610054938052]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• ChemMiner: A Large Language Model Agent System for Chemical Literature Data Mining [56.15126714863963]
  ChemMinerは、文学から化学データを抽出するエンドツーエンドのフレームワークである。 ChemMinerには、コア参照マッピングのためのテキスト分析エージェント、非テキスト情報抽出のためのマルチモーダルエージェント、データ生成のための合成分析エージェントの3つの特殊エージェントが組み込まれている。 実験の結果,ヒト化学者に匹敵する反応同定率を示すとともに,高い精度,リコール,F1スコアで処理時間を著しく短縮した。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• ChemCrow: Augmenting large-language models with chemistry tools [0.9195187117013247]
  大規模言語モデル(LLM)は、領域全体にわたるタスクにおいて高いパフォーマンスを示してきたが、化学に関連した問題に悩まされている。 本研究では, 有機合成, 創薬, 材料設計における課題を遂行するLLM化学剤であるChemCrowを紹介する。 我々のエージェントは、昆虫の忌避剤である3種の有機触媒の合成を自律的に計画し、実行し、新しいクロモフォアの発見を導いた。
  論文  参考訳（メタデータ） (2023-04-11T17:41:13Z)
• Unassisted Noise Reduction of Chemical Reaction Data Sets [59.127921057012564]
  本稿では,データセットから化学的に間違ったエントリを除去するための,機械学習に基づく無支援アプローチを提案する。 その結果,クリーン化およびバランスの取れたデータセットでトレーニングしたモデルの予測精度が向上した。
  論文  参考訳（メタデータ） (2021-02-02T09:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。