論文の概要: MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

• arxiv url: http://arxiv.org/abs/2505.15054v1
• Date: Wed, 21 May 2025 03:22:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.835819
• Title: MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation
• Title（参考訳）: MolLangBench: 言語プロンプトによる分子構造認識・編集・生成のための総合ベンチマーク
• Authors: Feiyang Cai, Jiahui Bai, Tao Tang, Joshua Luo, Tianyu Zhu, Ling Liu, Feng Luo,
• Abstract要約: MolLangBenchは分子言語インタフェースの基本的なタスクを評価するために設計されたベンチマークである。 自動ケミノフォマティクスツールを用いて認識タスクを構築する。 厳密な専門家アノテーションと検証を通じて編集・生成タスクをキュレートする。
• 参考スコア（独自算出の注目度）: 9.244229165184409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Precise recognition, editing, and generation of molecules are essential prerequisites for both chemists and AI systems tackling various chemical tasks. We present MolLangBench, a comprehensive benchmark designed to evaluate fundamental molecule-language interface tasks: language-prompted molecular structure recognition, editing, and generation. To ensure high-quality, unambiguous, and deterministic outputs, we construct the recognition tasks using automated cheminformatics tools, and curate editing and generation tasks through rigorous expert annotation and validation. MolLangBench supports the evaluation of models that interface language with different molecular representations, including linear strings, molecular images, and molecular graphs. Evaluations of state-of-the-art models reveal significant limitations: the strongest model (o3) achieves $79.2\%$ and $78.5\%$ accuracy on recognition and editing tasks, which are intuitively simple for humans, and performs even worse on the generation task, reaching only $29.0\%$ accuracy. These results highlight the shortcomings of current AI systems in handling even preliminary molecular recognition and manipulation tasks. We hope MolLangBench will catalyze further research toward more effective and reliable AI systems for chemical applications.
• Abstract（参考訳）: 分子の正確な認識、編集、生成は、化学者とAIシステムの両方に必須の前提条件である。 分子構造認識, 編集, 生成などの基本的分子言語インタフェースタスクを評価するための総合ベンチマークである MolLangBench を提案する。 高品質で曖昧で決定論的なアウトプットを保証するため,自動ケミノフォマティクスツールを用いて認識タスクを構築し,厳密な専門家の注釈と検証によって編集および生成タスクをキュレートする。 MolLangBenchは、線形文字列、分子画像、分子グラフなど、異なる分子表現を持つ言語をインターフェースするモデルの評価をサポートする。 最先端モデル (o3) は79.2 %$と78.5 %$の精度を達成しており、これは人間にとって直感的に単純であり、生成タスクでは29.0 %$の精度にしか達していない。 これらの結果は、分子認識や操作タスクの予備的処理において、現在のAIシステムの欠点を浮き彫りにしている。 MolLangBenchは、化学応用のためのより効果的で信頼性の高いAIシステムに向けたさらなる研究を触媒することを期待している。

関連論文リスト

• Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model [49.64512917330373]
  本稿では,学生に類似した多制約分子生成大言語モデルTSMMGを紹介する。 TSMMGを訓練するために、これらの「教師」から分子知識を抽出し、大量のテキスト-分子対を構築する。 我々は,TSMMGが複雑で自然言語で記述された特性を満たす分子を生成できることを実験的に明らかにした。
  論文  参考訳（メタデータ） (2024-03-20T02:15:55Z)
• GIT-Mol: A Multi-modal Large Language Model for Molecular Science with Graph, Image, and Text [25.979382232281786]
  グラフ,画像,テキスト情報を統合したマルチモーダルな大規模言語モデルであるGIT-Molを紹介する。 特性予測の精度は5%-10%向上し、分子生成の妥当性は20.2%向上した。
  論文  参考訳（メタデータ） (2023-08-14T03:12:29Z)
• Interactive Molecular Discovery with Natural Language [69.89287960545903]
  対象分子を記述・編集するための自然言語を用いた対話型分子設計を提案する。 この課題をより良くするために、実験プロパティ情報を注入することによって強化された知識的で汎用的な生成事前学習モデルChatMolを設計する。
  論文  参考訳（メタデータ） (2023-06-21T02:05:48Z)
• Domain-Agnostic Molecular Generation with Chemical Feedback [44.063584808910896]
  MolGenは、分子生成に特化した事前訓練された分子言語モデルである。 1億以上の分子SELFIESを再構成することで構造的および文法的な洞察を内部化する。 我々の化学フィードバックパラダイムは、モデルを分子幻覚から遠ざけ、モデルの推定確率と実世界の化学的嗜好との整合性を確保する。
  論文  参考訳（メタデータ） (2023-01-26T17:52:56Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Do Large Scale Molecular Language Representations Capture Important Structural Information? [31.76876206167457]
  本稿では,MoLFormerと呼ばれる効率的なトランスフォーマーエンコーダモデルのトレーニングにより得られた分子埋め込みについて述べる。 実験の結果,グラフベースおよび指紋ベースによる教師付き学習ベースラインと比較して,学習された分子表現が競合的に機能することが確認された。
  論文  参考訳（メタデータ） (2021-06-17T14:33:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。