論文の概要: Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models

• arxiv url: http://arxiv.org/abs/2606.28406v1
• Date: Wed, 24 Jun 2026 14:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.550514
• Title: Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models
• Title（参考訳）: AIは科学を描けるか? テキスト・ツー・イメージ・マルチモーダル・モデルによる科学的フィギュア生成評価のためのベンチマーク
• Abstract要約: SciDraw-Benchは、8つの図形タイプと10の分野にまたがる32の構造化された科学フィギュア生成タスクのベンチマークである。 各タスクは自然言語プロンプトと、必要なラベル、関係、コンポーネント、規約、負の制約のマシンチェック可能な仕様とをペアリングする。 ドメイン固有システムであるSciDraw AIを汎用のテキスト・ツー・イメージモデルに対して評価し、コード・ツー・フィギュア・ベースラインを計画的拡張として概説する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image and multimodal generative models are increasingly used to produce scientific figures such as mechanism diagrams, experimental-design schematics, conceptual frameworks, and graphical abstracts. Yet existing image-generation benchmarks (e.g., GenEval, T2I-CompBench, DPG-Bench) evaluate natural images and measure compositionality, object counting, or photorealism. None of them measure what makes a generated scientific figure usable: correct and legible text labels, faithful depiction of entities and their relations, coherent diagrammatic structure, and adherence to disciplinary drawing conventions. We introduce SciDraw-Bench, a benchmark of 32 structured scientific-figure generation tasks spanning eight figure types and ten disciplines, where each task pairs a natural-language prompt with a machine-checkable specification of required labels, relations, components, conventions, and negative constraints. We propose a four-dimensional evaluation protocol: Text Fidelity (OCR-based label recall and character error rate), Semantic Correctness (vision-language-model judging against the specification), Structural Quality, and Convention Adherence, together with a meta-evaluation protocol and a preliminary inter-judge reliability analysis (human-rating validation is ongoing). We evaluate a domain-specific system, SciDraw AI, against representative general-purpose text-to-image models, and outline a code-to-figure baseline as a planned extension. In a pilot over all eight figure types, the domain-specific system substantially outperforms the general-purpose baselines on every dimension and figure type, with the largest gaps on semantic correctness and convention adherence; text fidelity remains the hardest dimension for all systems.
• Abstract（参考訳）: テキスト・ツー・イメージとマルチモーダル・ジェネレーティブ・モデルは、メカニズム図、実験設計図、概念的フレームワーク、グラフィカル・抽象といった科学的な図を作成するために、ますます使われてきている。 しかし、既存の画像生成ベンチマーク(例えば、GenEval、T2I-CompBench、DPG-Bench)は、自然画像を評価し、構成性、オブジェクトカウント、フォトリアリズムを測定する。 正当かつ正当なテキストラベル、実体とその関係の忠実な描写、一貫性のある図形構造、学際的な図面規則への固執などである。 SciDraw-Benchは、8つの図形タイプと10の分野にまたがる32の構造化された科学図形生成タスクのベンチマークで、各タスクは自然言語プロンプトと、必要なラベル、関係、コンポーネント、規約、負の制約のマシンチェック可能な仕様とをペアリングする。 テキスト忠実度(OCRに基づくラベルリコールと文字誤り率)、意味的正確性(仕様に反するビジョン言語モデル)、構造的品質、コンベンション整合性の4次元評価プロトコルと、メタ評価プロトコルと予備的な中間信頼度分析(人間による評価が進行中)を提案する。 ドメイン固有システムであるSciDraw AIを汎用のテキスト・ツー・イメージモデルに対して評価し、コード・ツー・フィギュア・ベースラインを計画的拡張として概説する。 8種類の図形のパイロットでは、ドメイン固有のシステムは、すべての次元と図形の汎用的ベースラインを著しく上回り、意味的正しさと規約の順守に最大のギャップがある。

関連論文リスト

• A Multimodal Reasoning Typology for Grounding Chart-Image Coherence in Science Communication [0.4209830307113407]
  グラフとその付随する画像とそれらをリンクするキャプションはマルチモーダル単位を形成し、それを読むのに必要な推論作業は体系的に変化する、と我々は主張する。 我々は,R1からR5までの推論ギャップの類型論を開発し,グラフ,画像,テキストが科学的主張を共同で伝達する方法を特徴付ける。
  論文  参考訳（メタデータ） (2026-07-06T15:37:23Z)
• Faithful, Enriched, and Precise: Benchmarking Natural-Science Illustration Generation by T2I models [49.93401412148884]
  FEPBenchは、慎重に選択された高品質な科学イラストから構築されたベンチマークである。 我々は,T2Iモデルについて,命令忠実度,推論エンリッチメント,意味的精度の3つの次元に沿って評価する。 その結果、GPT Image 2やNano Banana Proのような最先端のクローズドソースモデルでさえ、テキストレンダリングのボトルネック、推論のリッチ化の制限、生成のリッチネスと精度のバランスの難しさに悩まされていることがわかった。
  論文  参考訳（メタデータ） (2026-06-04T09:49:02Z)
• Semantic-Structural Alignment for Generative Pictorial Charts [59.45629259524998]
  画像チャートの自動合成のための生成フレームワークを提案する。 2つの並列外部制御信号によって誘導される二重条件生成タスクとしてこの問題をモデル化する。 本手法は,芸術的に魅力的で構造的に整合性のある図表を生成する。
  論文  参考訳（メタデータ） (2026-05-05T05:20:46Z)
• PosterIQ: A Design Perspective Benchmark for Poster Understanding and Generation [27.097615059097322]
  PosterIQは、ポスター理解と生成のための設計主導のベンチマークである。 7,765のイメージアノテーションインスタンスと822の生成プロンプトが含まれており、実際のケース、専門ケース、合成ケースにまたがっている。
  論文  参考訳（メタデータ） (2026-03-25T08:33:51Z)
• SIQA: Toward Reliable Scientific Image Quality Assessment [72.41803245808924]
  我々は,2つの相補的な次元に沿って,科学的画質をモデル化するフレームワークであるSIQA(Scientific Image Quality Assessment)を紹介する。 SIQA-U (Understanding), SIQA-S (Scoring), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding) の2つの評価プロトコルを設計した。 代表的マルチモーダル大言語モデル(MLLM)に対する実験は、アライメントアライメントと科学的理解の間に一貫した相違が見られる。
  論文  参考訳（メタデータ） (2026-03-05T06:57:26Z)
• Draw with Thought: Unleashing Multimodal Reasoning for Scientific Diagram Generation [4.246322465055928]
  そこで我々は,MLLMを指導し,図形を編集可能なmxGraph XMLコードに再構成する学習自由フレームワークDaw with Thought (DwT)を提案する。 DwTはモデル微調整なしで解釈可能で制御可能な出力を可能にする。 Plot2XMLは、ゴールドスタンダードのXMLアノテーションを備えた247の現実世界の科学図のベンチマークです。
  論文  参考訳（メタデータ） (2025-04-13T08:22:09Z)
• Evaluating Text-to-Image and Text-to-Video Synthesis with a Conditional Fréchet Distance [13.599366291595672]
  視覚的忠実度とテキスト・プロンプトの整合性を評価する指標であるcFreDを1つのスコアにまとめる。 本研究は, テキスト条件付きモデルの系統評価において, cFreDを頑健で将来性のある指標として評価するものである。
  論文  参考訳（メタデータ） (2025-03-27T17:35:14Z)
• KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
  KITTENはKnowledge-InTensiveイメージジェネラティオンのベンチマークである。 我々は最新のテキスト・画像モデルと検索強化モデルについて体系的な研究を行う。 分析によると、高度なテキスト・ツー・イメージモデルでさえ、エンティティの正確な視覚的詳細を生成できない。
  論文  参考訳（メタデータ） (2024-10-15T17:50:37Z)
• Every Part Matters: Integrity Verification of Scientific Figures Based on Multimodal Large Language Models [9.37040822304535]
  本稿は, 科学的な図形の解釈における重要な課題である, テキストと図形のきめ細かいアライメントに対処する。 本稿では,テキスト知識と視覚的要素の整合性を評価するための,新しいタスクであるFinal Integrity Verificationを紹介する。
  論文  参考訳（メタデータ） (2024-07-26T09:35:36Z)
• A Survey on Quality Metrics for Text-to-Image Generation [9.753473063305503]
  AIベースのテキスト・ツー・イメージモデルは、現実的な画像の生成に優れるだけでなく、デザイナーが画像の内容をより細かく制御できるようになっている。 これらのアプローチはコンピュータグラフィックス研究コミュニティ内で注目を集めている。 本稿では,このようなテキスト・ツー・イメージの品質指標の概要を概観し,これらの指標を分類するための分類法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T14:24:20Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。