論文の概要: ChemArgus: Automated Scientific Diagnostics for Lab-Grade Multimodal Chemistry Reasoning: A Frontier Benchmark

• arxiv url: http://arxiv.org/abs/2610.20012v1
• Date: Wed, 14 Oct 2026 11:24:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.123498
• Title: ChemArgus: Automated Scientific Diagnostics for Lab-Grade Multimodal Chemistry Reasoning: A Frontier Benchmark
• Title（参考訳）: ChemArgus: ラボグレードマルチモーダル化学推論のための自動科学的診断:フロンティアベンチマーク
• Abstract要約: ChemArgus(チェムアーガス)は、化学競合材料、教科書、研究論文から抽出された競合レベルの化学ベンチマークである。 きめ細かいスコアリングは、各サブクエストポイントをポイントごとにポイントごとにポイントグレードするので、スコアは結果よりもステップのレベルに到達する。 ChemArgusは、モデルが化学に正しく答えるかどうかだけでなく、その推論連鎖がどこで失敗するかも示しています。
• 参考スコア（独自算出の注目度）: 40.23765783610604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chemistry evaluation has moved past multiple-choice probes toward open-ended expert problems, yet the benchmarks that define the current frontier still score answer endpoints alone. Such scoring conflates memorized facts with stepwise derivation, treats visual and textual inputs as interchangeable, and confounds long-horizon planning with stepwise execution. These blind spots prevent any diagnosis of where the reasoning chain breaks in a model. We present ChemArgus, a competition-level chemistry benchmark drawn from chemistry competition material, textbooks, and research papers, whose scoring replaces the answer endpoint with three measurement properties. Fine-grained scoring grades every subquestion point by point with partial credit, so a score lands at the level of the step rather than the outcome. Multimodal capability is priced on every problem containing a real image, paired with a controlled text description, so visual understanding is measured against text on identical tasks. Diagnostic attribution reads paired metrics that share one scoring unit and differ only in context construction, so a gap between two scores isolates a single cause, namely integration, propagation, or local reasoning. GPT-5.6-Sol scores 23.2% on unassisted whole-problem solving against 28.8% and 30.4% under the two sequential metrics, a gap measuring the integration burden. Through rubric partial credit and these cause-isolating score gaps, ChemArgus shows not only whether a model answers chemistry correctly but where its reasoning chain fails, so that every score it reports doubles as a diagnosis, a readout of the chain rather than a verdict, aiming to guide language models step by step on their path toward chemistry expertise, one corrected step at a time, each step priced by the rubric, point by point.
• Abstract（参考訳）: 化学評価は、複数の選択プローブを過ぎて、オープンな専門家の問題へと移行してきたが、現在のフロンティアを定義するベンチマークは、答のエンドポイントのみをスコア付けしている。 このようなスコアリングは、段階的に導出された事実を記憶し、視覚的およびテキスト的入力を交換可能として扱い、段階的に実行されたロングホライズン計画を理解する。 これらの盲点は、モデル内の推論連鎖がどこで壊れているかの診断を妨げます。 本稿では,化学競合材料,教科書,研究論文から抽出した競合レベルの化学ベンチマークであるChemArgusについて紹介する。 きめ細かいスコアリングは、各サブクエストポイントをポイントごとにポイントごとにポイントグレードするので、スコアは結果よりもステップのレベルに到達する。 マルチモーダル機能は、実際の画像を含むすべての問題に対して価格が設定され、制御されたテキスト記述と組み合わせられるため、視覚的理解は同一タスク上のテキストに対して測定される。 診断属性は、1つのスコア単位を共有し、コンテキスト構成でのみ異なるペアメトリクスを読み取るため、2つのスコア間のギャップは、統合、伝播、局所的推論という単一の原因を分離する。 GPT-5.6-Solは28.8%、30.4%の未支援全プロブレム解決で23.2%のスコアを得た。 ルーブリック部分クレジットとこれら原因分離スコアギャップを通じて、ChemArgusはモデルが化学に正しく答えるかどうかだけでなく、その推論チェーンが失敗する場所を示す。

関連論文リスト

• A Task-Centric Ontology and Deterministic Domain Rules as a Verifiable Core for AI-Assisted Chemistry Problem Solving [0.0]
  ChemOntoRuleは、AI支援の学校レベルの化学問題解決のための概念実証のシンボルコアである。 300人の人間が認可し、手動で化学の問題を検証した。
  論文  参考訳（メタデータ） (2026-07-12T18:49:55Z)
• Phase-Localized Curation Does Not Help: A Negative Result on Per-Phase Metric Selection for Demonstration Filtering [0.0]
  初期リリース構造欠陥を制御した3つの接触リッチLIBEROピック・アンド・プレイス・タスクに対して, 位相当たりの仮説を検証した。 条件ごとに3つのタスクと5つのランダムなシードに対して、フェーズゲートキュレーションは最良のキュレーション戦略ではない。
  論文  参考訳（メタデータ） (2026-06-13T02:45:10Z)
• From Answers to States: Verifiable Process-Level Evaluation of Chemical Reasoning in Large Language Models [37.34302729762671]
  ChemCoTBench-V2は、構造化された検証可能な化学推論トレースの評価のための、ルール検証可能な診断ベンチマークである。 分子理解、分子編集、分子最適化、反応予測にまたがっており、18の報告タスクで5,620個の評価サンプルがある。
  論文  参考訳（メタデータ） (2026-06-02T13:47:19Z)
• LiveMathematicianBench: A Live Benchmark for Mathematician-Level Reasoning with Proof Sketches [61.30693283718321]
  研究レベルの数学的推論のための動的多重選択ベンチマークであるLiveMathematicianBenchを提案する。 新たに発表された定理で評価を基礎づけることで、記憶されたパターンを超えた現実的なテストベッドを提供する。 このパイプラインは、高レベルな証明戦略を使用して、妥当だが無効な解選択を構築する。
  論文  参考訳（メタデータ） (2026-04-02T08:22:17Z)
• SUPERChem: A Multimodal Reasoning Benchmark in Chemistry [47.60627566673109]
  SUPERChemは、500人の専門家による推論集約化学問題のベンチマークである。 それぞれの問題は、専門家によるソリューションパスとペアリングされます。 人間のベースラインに対する評価は40.3%の精度で、最高のパフォーマンスモデルであるGPT-5(High)でさえ38.5%にしか達していない。
  論文  参考訳（メタデータ） (2025-12-01T04:46:35Z)
• QCBench: Evaluating Large Language Models on Domain-Specific Quantitative Chemistry [19.804237919102903]
  QCBenchは7つの化学サブフィールドにわたる350の計算化学問題からなる定量化学指向のベンチマークである。 それぞれの問題は、ショートカットを防止し、明示的な数値推論を要求するように構成されている。 QCBenchは、計算の弱点のきめ細かい診断を可能にし、モデル固有の制限を明らかにし、将来の改善の基盤となる。
  論文  参考訳（メタデータ） (2025-08-03T08:55:42Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• A multiconfigurational study of the negatively charged nitrogen-vacancy center in diamond [55.58269472099399]
  広帯域ギャップ半導体の深い欠陥は、量子センシングと情報応用を実現するための主要な量子ビット候補として現れている。 ここでは、単一粒子処理とは異なり、伝統的に原子/分子に予約されていた多重構成量子化学法は、これらの欠陥中心の電子状態の多体特性を正確に記述する。
  論文  参考訳（メタデータ） (2020-08-24T01:49:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。