論文の概要: MatPhaseBench: A Semantics-Guided Benchmark for Materials Phase Diagrams Understanding
- arxiv url: http://arxiv.org/abs/2607.02934v1
- Date: Fri, 03 Jul 2026 04:00:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.464588
- Title: MatPhaseBench: A Semantics-Guided Benchmark for Materials Phase Diagrams Understanding
- Title（参考訳）: MatPhaseBench: 材料相図理解のためのセマンティックガイド付きベンチマーク
- Abstract要約: MatPhaseBenchは、複雑な科学的イメージ理解のための高品質で信頼性の高いベンチマークである。
MatPhaseBenchは、古典的な材料科学雑誌における3681の論文から作られている。
- 参考スコア（独自算出の注目度）: 20.551487990736575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Materials phase diagrams are a core knowledge representation in materials science, encoding temperature,composition, phase stability, and phase transformation pathways, with their full understanding requiring thermodynamic mechanism analysis and scientific reasoning. Although VLMs have shown promise in scientific image understanding, their systematic evaluation on such logically complex images demanding deep mechanistic interpretation remains limited, and phase diagrams provide a challenging testbed for this purpose. We introduce MatPhaseBench, a high-quality, high-reliability benchmark for complex scientific image understanding, focused on materials phase diagrams. MatPhaseBench is constructed from 3681 papers in classical materials science journals, from which 200 high-quality diagram-text pairs were selected, covering 189 material systems and 70 elements. The benchmark has three key features: (1)targeting complex scientific image understanding-it moves beyond simple objective tests to open-ended tasks requiring deep comprehension; (2)comprehensive image-text alignment-semantic information associated with images is fully preserved during literature mining and matching; (3) high-quality human-supervised text acquisition-all descriptions undergo strict manual validation. Experimental results show that current VLMs remain substantially behind expert-level understanding: they are largely limited to surface visual perception, lack deep reasoning grounded in thermodynamic mechanisms, have limited domain awareness and expert analytical experience, and perform poorly in distinguishing fine-grained differences in composite or multi-diagram settings. Overall, MatPhaseBench constitutes a challenging research-grade benchmark, providing a foundational platform for complex scientific image understanding, phase diagram analysis, and trustworthy multi-modal AI in science.
- Abstract（参考訳）: 材料相図は材料科学における中核的な知識表現であり、温度、分解、相安定性、相変換経路を符号化し、熱力学機構の解析と科学的推論を必要とする。
VLMは科学的イメージ理解において有望であるが、深い機械的解釈を必要とするような論理的な複雑な画像に対する体系的な評価は依然として限られており、フェーズ図はこの目的のために挑戦的なテストベッドを提供する。
我々は,物質相図に着目した複雑な科学的画像理解のための高品質で信頼性の高いベンチマークであるMatPhaseBenchを紹介する。
MatPhaseBenchは、古典的な材料科学雑誌の3681の論文から構築され、200の高品質な図形テキストペアが選ばれ、189の材料システムと70の要素がカバーされた。
このベンチマークは,(1) 複雑な科学的画像理解を目標として, 単純な客観的なテストを超えて, 深い理解を必要とするオープンエンドなタスクに移行し, (2) 画像に関連した総合的な画像テキストアライメント・セマンティック情報は, 文献マイニングとマッチングの間に完全に保存され, (3) 厳密なマニュアル検証を行う高品質な人文教師によるテキスト取得記述である。
実験結果によると、現在のVLMは、主に表面的な視覚知覚に限られており、熱力学機構に根ざした深い推論が欠如しており、ドメイン認識と専門的な分析経験が限られており、複合やマルチダイアグラムの設定における微妙な違いの識別に不十分である。
全体として、MatPhaseBenchは、複雑な科学的イメージ理解、フェーズダイアグラム分析、科学における信頼できるマルチモーダルAIのための基盤プラットフォームを提供する、挑戦的な研究グレードのベンチマークを構成している。
関連論文リスト
- Deeply Interleaved Text-Image Contexts for Multimodal LLMs Assessment [57.41731607488101]
TIC-Benchは、テキストイメージの手がかりを統合し、深くインターリーブされたコンテキストの中で真実の事実を復元するモデルの能力を評価するように設計されている。
また,10種類のMLLMを評価し,人的専門家と比較してかなりの性能差が認められた。
論文 参考訳（メタデータ） (2026-09-02T13:19:51Z) - MACReD: A Multi-Agent Collaborative Reasoning Framework for Reaction Diagram Parsing [54.118897112270425]
本稿では,分子認識,矢印理解,テキスト抽出,および反応再構成のための特殊エージェントを統合VLM誘導アーキテクチャ内で協調する階層型マルチエージェントフレームワークを提案する。
RxnScribeベンチマークの実験では、MACReDはハードマッチとソフトマッチの基準で75.2%と84.6%のスコアで最先端のパフォーマンスを達成した。
論文 参考訳（メタデータ） (2026-05-27T07:32:13Z) - MaterialFigBENCH: benchmark dataset with figures for evaluating college-level materials science problem-solving abilities of multimodal large language models [9.321900260858351]
本稿では,大学レベルの物質科学問題を解くためのマルチモーダル大規模言語モデル(LLM)の能力を評価するためのベンチマークデータセットを提案する。
MaterialFigBenchは、位相図、応力-ひずみ曲線、アレニウスプロット、回折パターン、微構造図といった図形が正しい解を得るには不可欠である問題に焦点を当てている。
論文 参考訳（メタデータ） (2026-03-12T01:04:32Z) - SIQA: Toward Reliable Scientific Image Quality Assessment [72.41803245808924]
我々は,2つの相補的な次元に沿って,科学的画質をモデル化するフレームワークであるSIQA(Scientific Image Quality Assessment)を紹介する。
SIQA-U (Understanding), SIQA-S (Scoring), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding) の2つの評価プロトコルを設計した。
代表的マルチモーダル大言語モデル(MLLM)に対する実験は、アライメントアライメントと科学的理解の間に一貫した相違が見られる。
論文 参考訳（メタデータ） (2026-03-05T06:57:26Z) - RxnBench: A Multimodal Benchmark for Evaluating Large Language Models on Chemical Reaction Understanding from Scientific Literature [25.978951548176706]
RxnBenchは科学的なPDFから化学反応を理解する上でMLLMを厳格に評価するためのベンチマークである。
RxnBenchは2つのタスクからなる: きめ細かい視覚知覚と機械的推論をテストするシングルフィギュアQA (SF-QA) と、108の記事から情報を合成するためのモデルに挑戦するフルドキュメントQA (FD-QA) である。
MLLMの評価は, 明確なテキストの抽出に優れたモデルではあるものの, 深層化学論理と正確な構造認識に苦慮している。
論文 参考訳（メタデータ） (2025-12-29T16:05:38Z) - Bridging Cognitive Gap: Hierarchical Description Learning for Artistic Image Aesthetics Assessment [51.40989269202702]
審美的品質評価タスクは,AIGCの定量的評価システムの開発に不可欠である。
本研究では,記述生成による美的次元の分離を図った芸術的画像の美的評価フレームワークであるArtQuantを提案する。
提案手法は,従来のトレーニングの33%しか必要とせず,いくつかのデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-12-29T12:18:26Z) - ChemVTS-Bench: Evaluating Visual-Textual-Symbolic Reasoning of Multimodal Large Language Models in Chemistry [14.083820970280668]
ChemVTS-Benchは、マルチモーダル大言語モデル(MLLM)の視覚的テキスト・シンボリック(VTS)推論能力を評価するために設計されたドメイン認証ベンチマークである。
ChemVTS-Benchは、有機分子、無機物質、および3D結晶構造にまたがる多様で困難な化学問題を含んでいる。
我々は、推論を標準化し、回答を検証し、障害モードを診断する自動エージェントベースのワークフローを開発する。
論文 参考訳（メタデータ） (2025-11-22T04:24:24Z) - MatSciBench: Benchmarking the Reasoning Ability of Large Language Models in Materials Science [28.11660982198711]
MatSciBenchは1,340の問題からなる総合的な大学レベルのベンチマークである。
MatSciBenchは、物質科学の質問を6つの主要分野と31の亜分野に分類する構造的できめ細かな分類を特徴としている。
先行モデルの評価によると、最高のパフォーマンスモデルであるGemini-2.5-Proでさえ、大学レベルの材料科学の質問に対して80%未満の精度で達成されている。
論文 参考訳（メタデータ） (2025-10-14T05:59:40Z) - PhyBench: A Physical Commonsense Benchmark for Evaluating Text-to-Image Models [50.33699462106502]
テキスト・トゥ・イメージ(T2I)モデルは、物理コモンセンスと整合した画像を生成するのにしばしば失敗する。
現在のT2I評価ベンチマークは、精度、バイアス、安全性などの指標に焦点を当て、モデルの内部知識の評価を無視している。
メカニクス,光学,熱力学,材料特性の4つのカテゴリに700のプロンプトを含む総合的なT2I評価データセットであるPhyBenchを紹介する。
論文 参考訳（メタデータ） (2024-06-17T17:49:01Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳（メタデータ） (2024-01-24T14:23:12Z) - Multimodal Deep Learning for Scientific Imaging Interpretation [0.0]
本研究では,SEM(Scanning Electron Microscopy)画像と人間のような相互作用を言語的にエミュレートし,評価するための新しい手法を提案する。
本稿では,ピアレビュー記事から収集したテキストデータとビジュアルデータの両方から洞察を抽出する。
我々のモデル (GlassLLaVA) は, 正確な解釈, 重要な特徴の同定, 未確認のSEM画像の欠陥の検出に優れる。
論文 参考訳（メタデータ） (2023-09-21T20:09:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。