論文の概要: MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures

• arxiv url: http://arxiv.org/abs/2603.28550v1
• Date: Mon, 30 Mar 2026 15:11:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:45.467658
• Title: MarkushGrapher-2: End-to-end Multimodal Recognition of Chemical Structures
• Title（参考訳）: MarkushGrapher-2: 化学構造のエンドツーエンドマルチモーダル認識
• Authors: Tim Strohmeyer, Lucas Morin, Gerhard Ingmar Meijer, Valéry Weber, Ahmed Nassar, Peter Staar,
• Abstract要約: MarkushGrapher-2は文書中の化学構造のマルチモーダル認識のためのエンドツーエンドのアプローチである。 実世界のマルコシュ構造の大規模データセットを構築するための自動パイプラインを導入する。 提案手法はマルチモーダルマークシュ構造認識における最先端モデルを大幅に上回る。
• 参考スコア（独自算出の注目度）: 2.7994101180516133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatically extracting chemical structures from documents is essential for the large-scale analysis of the literature in chemistry. Automatic pipelines have been developed to recognize molecules represented either in figures or in text independently. However, methods for recognizing chemical structures from multimodal descriptions (Markush structures) lag behind in precision and cannot be used for automatic large-scale processing. In this work, we present MarkushGrapher-2, an end-to-end approach for the multimodal recognition of chemical structures in documents. First, our method employs a dedicated OCR model to extract text from chemical images. Second, the text, image, and layout information are jointly encoded through a Vision-Text-Layout encoder and an Optical Chemical Structure Recognition vision encoder. Finally, the resulting encodings are effectively fused through a two-stage training strategy and used to auto-regressively generate a representation of the Markush structure. To address the lack of training data, we introduce an automatic pipeline for constructing a large-scale dataset of real-world Markush structures. In addition, we present IP5-M, a large manually-annotated benchmark of real-world Markush structures, designed to advance research on this challenging task. Extensive experiments show that our approach substantially outperforms state-of-the-art models in multimodal Markush structure recognition, while maintaining strong performance in molecule structure recognition. Code, models, and datasets are released publicly.
• Abstract（参考訳）: 文書から化学構造を自動的に抽出することは、化学文献の大規模解析に不可欠である。 自動パイプラインは、図形またはテキストで表される分子を独立して認識するために開発された。 しかし,マルチモーダルな記述(マルコシュ構造)から化学構造を認識する手法は精度が低いため,大規模自動処理には使用できない。 本稿では,文書中の化学構造のマルチモーダル認識のためのエンドツーエンドアプローチであるMarkushGrapher-2を提案する。 まず、化学画像からテキストを抽出するために専用のOCRモデルを用いる。 第2に、テキスト、画像、レイアウト情報は、ビジョンテキストレイアウトエンコーダと光学化学構造認識ビジョンエンコーダを介して共同で符号化される。 最後に、得られたエンコーディングは、2段階のトレーニング戦略を通じて効果的に融合され、Markush構造の表現を自動回帰的に生成するために使用される。 トレーニングデータの欠如に対処するため,実世界のMarkush構造を大規模に構築するための自動パイプラインを導入する。 さらに,実世界のMarkush構造を手動で注釈付けした大規模なベンチマークであるIP5-Mを提案する。 その結果,本手法は分子構造認識において高い性能を維持しつつ,マルチモーダルマークシュ構造認識における最先端モデルを大幅に上回ることを示した。 コード、モデル、データセットが公開されている。

関連論文リスト

• MonkeyOCR v1.5 Technical Report: Unlocking Robust Document Parsing for Complex Patterns [80.05126590825121]
  MonkeyOCR v1.5は、レイアウト理解とコンテンツ認識の両方を強化する統合ビジョン言語フレームワークである。 複雑なテーブル構造に対処するために,視覚的整合性に基づく強化学習手法を提案する。 2つの特別なモジュール、Image-Decoupled Table ParsingとType-Guided Table Mergingを導入し、テーブルの信頼性の高いパースを可能にする。
  論文  参考訳（メタデータ） (2025-11-13T15:12:17Z)
• RxnCaption: Reformulating Reaction Diagram Parsing as Visual Prompt Guided Captioning [51.393018266721576]
  化学反応図解析(RxnDP)のためのRxnCaptionフレームワークを提案する。 本フレームワークは,従来の座標予測による解析処理を画像キャプション問題に再構成する。 我々は,BBox and Index as Visual Prompt (BIVP) という,最先端の分子検出器である MolYOLO を用いて,分子境界ボックスやインデックスを直接入力画像上に描画する戦略を紹介した。
  論文  参考訳（メタデータ） (2025-11-04T09:08:44Z)
• GTR-CoT: Graph Traversal as Visual Chain of Thought for Molecular Structure Recognition [60.76623665324548]
  GTR-Mol-VLMは、2つの重要な革新を特徴とする新しいフレームワークである。 シーケンシャルな原子結合予測を通じて分子グラフを段階的に解析することで、人間の推論をエミュレートする。 MolRec-BenchはOCSRにおけるグラフパーシング精度の詳細な評価のために設計された最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-06-09T08:47:10Z)
• MarkushGrapher: Joint Visual and Textual Recognition of Markush Structures [47.41884299076947]
  MarkushGrapherは、ドキュメント内のMarkush構造を認識するためのマルチモーダルアプローチである。 本稿では,多種多様な現実的なマルコシュ構造を生成する合成データ生成パイプラインを提案する。 M2Sは、実世界のMarkush構造の最初の注釈付きベンチマークである。
  論文  参考訳（メタデータ） (2025-03-20T12:40:38Z)
• MolParser: End-to-end Visual Recognition of Molecule Structures in the Wild [17.846545370594452]
  両端から端までの新しい化学構造認識法であるモールについて述べる。 SMILES符号化法を用いて,最大のアノテート分子画像データセットである Mol-7M をアノテートする。 我々は、カリキュラム学習アプローチを用いて、エンドツーエンドの分子画像キャプションモデル、Molを訓練した。
  論文  参考訳（メタデータ） (2024-11-17T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。