論文の概要: Unlocking the Visual Record of Materials Science: A Large-Scale Multimodal Dataset from Scientific Literature
- arxiv url: http://arxiv.org/abs/2606.29667v1
- Date: Mon, 29 Jun 2026 00:23:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.001787
- Title: Unlocking the Visual Record of Materials Science: A Large-Scale Multimodal Dataset from Scientific Literature
- Title（参考訳）: 物質科学の視覚的記録を解き明かす:科学文献からの大規模マルチモーダルデータセット
- Abstract要約: MatMMExtractは、材料科学の数字のためのエンドツーエンドのオープンソースパイプラインである。
これは、大きな言語モデルを使用して構造化された基底アノテーションを生成する。
MatSciFigは14,810のオープンアクセス記事に適用される。
- 参考スコア（独自算出の注目度）: 1.1059590443280727
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The materials science literature encodes decades of experimental knowledge in figures, yet this visual record remains locked away and inaccessible to AI at scale. The core difficulty is structural: most scientific figures are compound, with a single caption describing multiple sub-panels simultaneously, making direct image-text pairing unreliable. We present MatMMExtract, an end-to-end open-source pipeline that resolves this by decomposing compound figures into individual sub-panels and generating structured, grounded annotations using a large language model guided by a curated materials science taxonomy. Applied to 14,810 open-access articles, MatMMExtract produces MatSciFig; 391,606 panel-level image-text pairs from 180,571 figures, each annotated with a sub-caption, a two-level visualisation category spanning 19 classes and over 100 subtypes, and a scientific summary. To enable accurate panel localisation, we introduce MaterialScope, a domain-specific detection dataset of 2,811 manually annotated materials science figures, on which a fine-tuned YOLO12-m detector achieves mAP_50 of 0.9227. Among six benchmarked language models, Gemini 3.1 Flash Lite delivers the best cost-quality trade-off for annotation generation, with 82% of outputs rated good and a hallucination rate of 4.8%. A dual-encoder retrieval baseline on MatSciFig achieves a 4.4 times improvement in R@1 over zero-shot CLIP, demonstrating the dataset's immediate utility for vision-language learning. All resources are released openly to the community.
- Abstract（参考訳）: 材料科学の文献は数十年にわたる実験的な知識を数字にエンコードしているが、このビジュアル記録はいまだに閉鎖されており、大規模にAIにアクセスできない。
ほとんどの科学的数字は複合的であり、複数のサブパネルを同時に記述する単一のキャプションにより、直接的な画像とテキストのペアリングが信頼性を損なう。
我々は,複合図形を個々のサブパネルに分解し,キュレートされた材料科学分類法で導かれた大規模言語モデルを用いて,構造化された基底アノテーションを生成することによって,これを解消するエンドツーエンドのオープンソースパイプラインであるMatMMExtractを提案する。
MatMMExtractは、14,810のオープンアクセス記事に適用され、MatchSciFig; 391,606のパネルレベルのイメージテキストペアを180,571桁から作成し、それぞれにサブキャプション、19のクラスと100以上のサブタイプにまたがる2レベルの視覚化カテゴリ、科学的な要約を付加した。
正確なパネルローカライゼーションを実現するために,2,811個の手動アノテートされた材料科学図からなるドメイン固有検出データセットであるMaterialScopeを導入し,細調整されたYOLO12-m検出器が0.9227のmAP_50を達成した。
6つのベンチマーク言語モデルの中で、Gemini 3.1 Flash Liteは、アノテーション生成のための最高のコスト品質のトレードオフを提供し、出力の82%が良いと評価され、幻覚率は4.8%である。
MatSciFigのデュアルエンコーダ検索ベースラインでは、ゼロショットCLIPよりもR@1が4.4倍改善されている。
すべてのリソースはコミュニティに公開されています。
関連論文リスト
- Beyond Text and Tables: Vision-Language Model Integration in ComProScanner for Extracting Materials Data from Scientific Figures with High Accuracy [0.2447206672789868]
ComProScannerは、自動コンポジションプロパティデータベース構築のためのエンドツーエンドフレームワークである。
VLMを統合したComProScannerは、材料に特化した、完全に自動化された、マルチモーダルな文献採掘プラットフォームである。
論文 参考訳（メタデータ） (2026-05-19T23:55:19Z) - OmniScience: A Large-scale Multi-modal Dataset for Scientific Image Understanding [13.03315906747549]
OmniScienceは、10以上の主要な科学分野にまたがる高忠実なマルチモーダルデータセットである。
我々は,高密度で自己完結した記述を生成する動的モデルルーチン再カプセル化パイプラインを開発した。
パイプラインは 厳格な品質のフィルタリングと 人間の専門家の判断との整合で強化されている
論文 参考訳（メタデータ） (2026-02-14T13:08:13Z) - S1-MMAlign: A Large-Scale, Multi-Disciplinary Dataset for Scientific Figure-Text Understanding [16.351123624587384]
S1-MMAlignは1550万以上の高品質の画像テキストペアからなる大規模で多分野のマルチモーダルデータセットである。
本稿では,Qwen-VL多モード大モデル系列を用いたAI対応セマンティックエンハンスメントパイプラインを提案する。
論文 参考訳（メタデータ） (2026-01-01T08:54:51Z) - Open-PMC-18M: A High-Fidelity Large Scale Medical Dataset for Multimodal Representation Learning [0.03214166687856062]
本稿では,トランスを用いたオブジェクト検出に基づくスケーラブルなサブフィギュア抽出パイプラインを提案する。
我々は,大規模バイオメディカルビジョン言語データセットであるOPEN-PMC-18Mをリリースする。
検索性能の改善,ゼロショット分類,ロバストネスベンチマークを示す。
論文 参考訳（メタデータ） (2025-06-03T10:53:19Z) - Towards Visual Text Grounding of Multimodal Large Language Model [74.22413337117617]
本稿では,テキストリッチな画像グラウンドのベンチマークを行うための命令データセットを新たに設計した新しいタスクであるTRIGを紹介する。
具体的には,OCR-LLM-ヒューマンインタラクションパイプラインを提案し,800の注釈付き質問応答ペアをベンチマークとして作成する。
提案したベンチマークによる各種MLLMの包括的評価は,テキストリッチな画像上でのグラウンド化能力の大幅な制限を明らかにする。
論文 参考訳（メタデータ） (2025-04-07T12:01:59Z) - LEGION: Learning to Ground and Explain for Synthetic Image Detection [49.958951540410816]
提案するSynthScarsは,12,236個の完全合成画像からなる高品質で多様なデータセットである。
4つの異なる画像コンテンツタイプ、3つのアーティファクトカテゴリ、ピクセルレベルのセグメンテーション、詳細なテキスト説明、アーティファクトカテゴリラベルを含んでいる。
人工物の検出,分割,説明を統合するマルチモーダル大規模言語モデル(MLLM)に基づく画像偽造解析フレームワークであるLEGIONを提案する。
論文 参考訳（メタデータ） (2025-03-19T14:37:21Z) - Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation [79.71072337496351]
CoSynは、合成テキストリッチマルチモーダルデータを作成するフレームワークである。
高品質な命令チューニングデータを生成することができる。
また、合成ポインティングデータを生成し、視覚言語モデルで入力画像内の情報をグラウンドできる。
論文 参考訳（メタデータ） (2025-02-20T18:55:30Z) - BIOMEDICA: An Open Biomedical Image-Caption Archive, Dataset, and Vision-Language Models Derived from Scientific Literature [73.39593644054865]
BIOMEDICAはスケーラブルでオープンソースのフレームワークで、PubMed Central Open Accessサブセット全体を抽出、注釈付け、シリアライズして、使いやすく、公開可能なデータセットにする。
われわれのフレームワークは600万以上の記事から2400万以上のユニークな画像テキストペアで包括的なアーカイブを生成する。
BMCA-CLIPは、ストリーミングを通じてBIOMEDICAデータセット上で継続的に事前トレーニングされたCLIPスタイルのモデルのスイートで、27TBのデータをローカルにダウンロードする必要がなくなる。
論文 参考訳（メタデータ） (2025-01-13T09:58:03Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳（メタデータ） (2024-01-24T14:23:12Z) - Text2Topic: Multi-Label Text Classification System for Efficient Topic
Detection in User Generated Content with Zero-Shot Capabilities [2.7311827519141363]
マルチラベル分類性能の高いText to Topic(Text2Topic)を提案する。
Text2Topicはゼロショット予測をサポートし、ドメイン固有のテキスト埋め込みを生成し、プロダクションスケールのバッチ推論を可能にする。
このモデルは現実世界のストリーム処理プラットフォームにデプロイされ、92.9%のマイクロmAPで他のモデルより優れている。
論文 参考訳（メタデータ） (2023-10-23T11:33:24Z) - Improving Multimodal Datasets with Image Captioning [65.74736570293622]
生成したキャプションが非記述テキストによるWebスクラッピングデータポイントの有用性を高める方法について検討する。
DataComp の大規模字幕 (1.28B 画像テキストペア) を用いた実験により,合成テキストの限界について考察した。
論文 参考訳（メタデータ） (2023-07-19T17:47:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。