論文の概要: Benchmarking Agentic Systems in Automated Scientific Information Extraction with ChemX

• arxiv url: http://arxiv.org/abs/2510.00795v1
• Date: Wed, 01 Oct 2025 11:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.535863
• Title: Benchmarking Agentic Systems in Automated Scientific Information Extraction with ChemX
• Title（参考訳）: ChemXを用いた自動科学情報抽出におけるエージェントシステムのベンチマーク
• Authors: Anastasia Vepreva, Julia Razlivina, Maria Eremeeva, Nina Gubina, Anastasia Orlova, Aleksei Dmitrenko, Ksenya Kapranova, Susan Jyakhwo, Nikita Vasilev, Arsen Sarkisyan, Ivan Yu. Chernyshov, Vladimir Vinogradov, Andrei Dmitrenko,
• Abstract要約: ChemXは、ナノマテリアルと小さな分子に焦点を当てた、手動でキュレートされ、ドメインに精通した10のデータセットの集合である。 これらのデータセットは化学における自動抽出手法を厳格に評価し、拡張するために設計されている。 本稿では,ChatGPTエージェントや化学特異的データ抽出エージェントなど,最先端のエージェントシステムとの比較を行った。
• 参考スコア（独自算出の注目度）: 2.1779971965303617
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of agent-based systems represents a significant advancement in artificial intelligence, with growing applications in automated data extraction. However, chemical information extraction remains a formidable challenge due to the inherent heterogeneity of chemical data. Current agent-based approaches, both general-purpose and domain-specific, exhibit limited performance in this domain. To address this gap, we present ChemX, a comprehensive collection of 10 manually curated and domain-expert-validated datasets focusing on nanomaterials and small molecules. These datasets are designed to rigorously evaluate and enhance automated extraction methodologies in chemistry. To demonstrate their utility, we conduct an extensive benchmarking study comparing existing state-of-the-art agentic systems such as ChatGPT Agent and chemical-specific data extraction agents. Additionally, we introduce our own single-agent approach that enables precise control over document preprocessing prior to extraction. We further evaluate the performance of modern baselines, such as GPT-5 and GPT-5 Thinking, to compare their capabilities with agentic approaches. Our empirical findings reveal persistent challenges in chemical information extraction, particularly in processing domain-specific terminology, complex tabular and schematic representations, and context-dependent ambiguities. The ChemX benchmark serves as a critical resource for advancing automated information extraction in chemistry, challenging the generalization capabilities of existing methods, and providing valuable insights into effective evaluation strategies.
• Abstract（参考訳）: エージェントベースのシステムの出現は、人工知能の大幅な進歩を示し、自動データ抽出の応用が増加している。 しかし、化学情報抽出は、化学データの固有の不均一性のため、依然として深刻な課題である。 現在のエージェントベースのアプローチでは、汎用性とドメイン固有性の両方が、このドメインでは限定的なパフォーマンスを示している。 このギャップに対処するために、ナノマテリアルと小さな分子に焦点を当てた、10個の手作業でキュレートされ、ドメインに精通したデータセットの包括的なコレクションであるChemXを紹介します。 これらのデータセットは化学における自動抽出手法を厳格に評価し、拡張するために設計されている。 それらの実用性を実証するため,ChatGPTエージェントや化学特異的データ抽出エージェントなど,最先端のエージェントシステムとの比較を行った。 さらに,抽出に先立って文書前処理を正確に制御できる単一エージェント方式を導入する。 さらに, GPT-5 や GPT-5 Thinking などの現代ベースラインの性能評価を行い, エージェントアプローチとの比較を行った。 実験により,化学情報抽出,特にドメイン固有用語処理,複雑な表や図形表現,文脈依存の曖昧さの持続的な課題が明らかになった。 ChemXベンチマークは、化学における自動情報抽出を推進し、既存の手法の一般化能力に挑戦し、効果的な評価戦略に関する貴重な洞察を提供するための重要なリソースである。

関連論文リスト

• A Multi-Agent System Enables Versatile Information Extraction from the Chemical Literature [8.306442315850878]
  我々は,堅牢かつ自動化された化学情報抽出のためのマルチモーダル大規模言語モデル (MLLM) ベースのマルチエージェントシステムを開発した。 文献から得られた高精細なマルチモーダル化学反応画像のベンチマークデータセットにおいて,本システムは80.8%のF1スコアを達成した。
  論文  参考訳（メタデータ） (2025-07-27T11:16:57Z)
• ChemActor: Enhancing Automated Extraction of Chemical Synthesis Actions with LLM-Generated Data [53.78763789036172]
  ケミカルエグゼキュータとして完全微調整された大規模言語モデル(LLM)であるChemActorを紹介し,非構造化実験手順と構造化動作シーケンスを変換する。 このフレームワークは、分散分散に基づくデータ選択モジュールと汎用LLMを統合し、単一の分子入力からマシン実行可能なアクションを生成する。 反応記述(R2D)と記述記述処理(D2A)のタスクの実験により、ChemActorは最先端のパフォーマンスを達成し、ベースラインモデルよりも10%高い性能を示した。
  論文  参考訳（メタデータ） (2025-06-30T05:11:19Z)
• ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain [0.8974531206817746]
  本稿では,ケミカルテキスト埋め込みベンチマーク(ChemTEB)という新しいベンチマークを紹介する。 ChemTEBは、化学文献とデータのユニークな言語的・意味的な複雑さに対処する。 化学情報の処理と理解における現在の方法論の長所と短所を照らす。
  論文  参考訳（メタデータ） (2024-11-30T16:45:31Z)
• ChemMiner: A Large Language Model Agent System for Chemical Literature Data Mining [56.15126714863963]
  ChemMinerは、文学から化学データを抽出するエンドツーエンドのフレームワークである。 ChemMinerには、コア参照マッピングのためのテキスト分析エージェント、非テキスト情報抽出のためのマルチモーダルエージェント、データ生成のための合成分析エージェントの3つの特殊エージェントが組み込まれている。 実験の結果,ヒト化学者に匹敵する反応同定率を示すとともに,高い精度,リコール,F1スコアで処理時間を著しく短縮した。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [55.30328162764292]
  Chemist-Xは、化学合成における反応条件最適化(RCO)タスクを自動化する包括的なAIエージェントである。 このエージェントは、検索強化世代(RAG)技術とAI制御のウェットラブ実験を実行する。 我々の自動ウェットラブ実験の結果は、LLMが制御するエンドツーエンドの操作を、ロボットに人間がいない状態で行うことで達成され、Chemist-Xの自動運転実験における能力が証明された。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。