論文の概要: ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation

• arxiv url: http://arxiv.org/abs/2608.21504v1
• Date: Fri, 21 Aug 2026 16:58:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.233781
• Title: ChemDIRT: A Diversified Instruction, Representation, and Task Benchmark for Robust Chemistry-LLM Evaluation
• Title（参考訳）: ChemDIRT:ロバスト化学-LLM評価のための多様なインストラクション、表現、タスクベンチマーク
• Abstract要約: ChemDIRTは、大規模言語モデルにおける化学推論の堅牢性を評価するために設計された包括的な評価フレームワークである。 化学タスクの8つのカテゴリにまたがりながら、命令や分子表現のバリエーションにまたがるパフォーマンスを測定する。 オープンおよびクローズドなLCMの多様なセットをベンチマークし、タスクファミリ間での相当な迅速な感度、表現依存、不均一なパフォーマンスを明らかにした。
• 参考スコア（独自算出の注目度）: 18.06583682294473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has led to increasing interest in their application to scientific domains such as chemistry. However, existing chemistry benchmarks often provide only a narrow view of model capability, focusing on limited task sets while overlooking robustness to variations in problem formulation and chemical representation. As a result, reported performance may overestimate a model's true ability to reason consistently across realistic settings. To address this challenge, we introduce ChemDIRT (Diversified Instruction, Representation, and Task Benchmark), a comprehensive evaluation framework designed to assess the robustness of chemical reasoning in LLMs. ChemDIRT systematically measures model performance across variations in instructions and molecular representations while spanning eight categories of chemistry tasks. By evaluating both accuracy and consistency under these controlled perturbations, ChemDIRT provides a more reliable assessment of model reasoning capabilities than conventional single-format benchmarks. We benchmark a diverse set of open- and closed-source LLMs, revealing substantial prompt sensitivity, representation dependence, and uneven performance across task families.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、化学などの科学分野への応用への関心が高まっている。 しかし、既存の化学ベンチマークは、問題定式化や化学表現のバリエーションに頑健さを見越しながら、限られたタスクセットに焦点を絞って、モデル能力の狭いビューのみを提供する。 その結果、報告されたパフォーマンスは、現実的な設定で一貫して推論するモデルの真の能力を過大評価する可能性がある。 この課題に対処するために,LLMにおける化学推論の堅牢性を評価するための総合的な評価フレームワークであるChemDIRT(Diversified Instruction, Representation, Task Benchmark)を紹介する。 ChemDIRTは、8つのカテゴリの化学タスクにまたがって、命令と分子表現のバリエーションのモデル性能を体系的に測定する。 これらの制御された摂動下での精度と一貫性を評価することで、ChemDIRTは従来のシングルフォーマットベンチマークよりも信頼性の高いモデル推論能力の評価を提供する。 オープンおよびクローズドなLCMの多様なセットをベンチマークし、タスクファミリ間での相当な迅速な感度、表現依存、不均一なパフォーマンスを明らかにした。

関連論文リスト

• ChemVA: Advancing Large Language Models on Chemical Reaction Diagrams Understanding [56.94419746470799]
  大規模言語モデル (LLM) は、科学的なテキスト処理に革命をもたらしたが、化学反応図を解釈する際には、大きな能力ギャップが現れる。 本稿では,視覚アンカー機構を用いたケミカルビジュアルアクティベーション(ChemVA)フレームワークを提案する。 我々は,高密度な視覚・セマンティックな文脈を特徴とする新たに構築されたデータセットであるOCRD-Benchに対するアプローチを評価する。
  論文  参考訳（メタデータ） (2026-05-17T01:12:50Z)
• Task-Specific Sparse Feature Masks for Molecular Toxicity Prediction with Chemical Language Models [5.563119267291969]
  本稿では,精度と解釈可能性の両立を図るために,新しいマルチタスク学習(MTL)フレームワークを提案する。 我々のアーキテクチャは、共通化学言語モデルとタスク固有のアテンションモジュールを統合している。 これらのモジュールにL1のスパーシリティのペナルティを課すことにより、このフレームワークは個々の毒性エンドポイントに対して最小限の塩分分子フラグメントに焦点を絞ることに制約される。
  論文  参考訳（メタデータ） (2025-12-12T09:41:04Z)
• TinyChemVL: Advancing Chemical Vision-Language Models via Efficient Visual Token Reduction and Complex Reaction Tasks [25.14617060799698]
  この研究は、モデルアーキテクチャとタスク複雑性を共同設計することで、化学ドメインのための効率的かつ強力なビジョン言語モデル(VLM)を構築する。 4Bパラメータしか持たないTinyChemVLは、既存のモデルよりも高速な推論とトレーニング速度を示しながら、分子および反応タスクの両方で優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-11-09T08:37:18Z)
• oMeBench: Towards Robust Benchmarking of LLMs in Organic Mechanism Elucidation and Reasoning [44.36582860924775]
  有機化学における有機機構推論のための,最初の大規模で専門家によるベンチマークであるoMeBenchを紹介する。 また,ステップレベルの論理と化学的類似性を組み合わせた動的評価フレームワークoMeSを提案する。
  論文  参考訳（メタデータ） (2025-10-09T03:13:31Z)
• ChemOrch: Empowering LLMs with Chemical Intelligence via Synthetic Instructions [52.79349601462865]
  ChemOrchは化学的に接地した命令応答対を合成するフレームワークである。 ChemOrchは、生成したタスクに対して、制御可能な多様性と難易度を実現する。
  論文  参考訳（メタデータ） (2025-09-20T05:43:58Z)
• ChemDFM-R: An Chemical Reasoner LLM Enhanced with Atomized Chemical Knowledge [14.6026550444088]
  この研究は化学の特定の分野に焦点をあて、ケミカル・リアソナー LLM, ChemDFM-R を開発した。 まず、原子化知識点の包括的データセットを構築し、モデルの基本原理と化学の論理構造に対する理解を深める。 多様な化学ベンチマークの実験により、ChemDFM-Rは、解釈可能で合理的な出力を提供しながら、最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2025-07-29T16:40:49Z)
• ChemActor: Enhancing Automated Extraction of Chemical Synthesis Actions with LLM-Generated Data [53.78763789036172]
  ケミカルエグゼキュータとして完全微調整された大規模言語モデル(LLM)であるChemActorを紹介し,非構造化実験手順と構造化動作シーケンスを変換する。 このフレームワークは、分散分散に基づくデータ選択モジュールと汎用LLMを統合し、単一の分子入力からマシン実行可能なアクションを生成する。 反応記述(R2D)と記述記述処理(D2A)のタスクの実験により、ChemActorは最先端のパフォーマンスを達成し、ベースラインモデルよりも10%高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-30T05:11:19Z)
• Benchmarking Multimodal LLMs on Recognition and Understanding over Chemical Tables [48.39080455781475]
  ChemTable(チェムタブル、英: ChemTable)は、実験的な論文から得られた実世界の化学表の大規模なベンチマークである。 ChemTableには、専門家によるアノテートされたセルポリゴン、論理レイアウト、試薬、触媒、収率、グラフィカルコンポーネントを含むドメイン固有のラベルが含まれている。 我々は、ChemTable上で、オープンソースモデルとクローズドソースモデルの両方を含む様々な代表的マルチモーダルモデルを評価し、実践的および概念的洞察を伴う一連の知見を報告した。
  論文  参考訳（メタデータ） (2025-06-13T00:45:41Z)
• Beyond Chemical QA: Evaluating LLM's Chemical Reasoning with Modular Chemical Operations [43.623140005091535]
  我々は、分子構造理解を算術に着想を得た演算でブリッジする推論フレームワークであるChemCoTBenchを紹介する。 ChemCoTBenchは、化学的問題解決を透明でステップバイステップの推論に形式化する。 分子特性最適化と化学反応予測という2つの高影響タスクのモデルを評価する。
  論文  参考訳（メタデータ） (2025-05-27T15:15:44Z)
• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• ChemVLM: Exploring the Power of Multimodal Large Language Models in Chemistry Area [70.66610054938052]
  textbfChemVLMは、化学応用のためのオープンソースの化学マルチモーダル大規模言語モデルである。 ChemVLMは、テキストと視覚の化学情報の両方を理解する能力を高めるために、慎重にキュレートされたバイリンガルデータセットで訓練されている。 我々はChemVLMを、様々なタスクにおいて、オープンソースおよびプロプライエタリな多モーダルな大規模言語モデルに対してベンチマークする。
  論文  参考訳（メタデータ） (2024-08-14T01:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。