論文の概要: SciDiagBench: A Type-Specific Benchmark for Human-Aligned Evaluation of Scientific Diagrams

• arxiv url: http://arxiv.org/abs/2610.27841v1
• Date: Tue, 20 Oct 2026 08:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.718951
• Title: SciDiagBench: A Type-Specific Benchmark for Human-Aligned Evaluation of Scientific Diagrams
• Title（参考訳）: SciDiagBench: 科学的ダイアグラムの人為的評価のための型別ベンチマーク
• Abstract要約: SciDiagBenchは、科学的図を体系的に11のタイプに分類するベンチマークデータセットで構成される。 具体的には、SciDiagBenchは10の広い領域にまたがる165の科学図を含んでいる。 最終的に、SciDiagBenchはより信頼性の高い自動評価を可能にする。
• 参考スコア（独自算出の注目度）: 73.09759029245375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent agents have demonstrated strong capabilities in generating images from textual prompts, motivating their utilization for scientific diagram generation. Scientific diagrams naturally span diverse types, each characterized by distinct visual structures and content organization. Consequently, during peer review and other scientific evaluation, human experts naturally consider type-specific criteria when assessing their quality. However, existing VLM-based evaluation benchmarks fail to reflect the above human evaluation practices for two main reasons: 1) benchmark datasets typically lack a systematic categorization of different diagram types and thus adopt the same generic criteria for all diagrams, and 2) their evaluation criteria are often designed heuristically, without explicit alignment to human evaluation preferences. Motivated by these limitations, we introduce SciDiagBench, which consists of a benchmark dataset that systematically categorizes scientific diagrams into 11 types and a human preference-guided evaluation method. Specifically, SciDiagBench contains 165 scientific diagrams across 10 broad domains, with types including graphical abstracts, technical roadmaps, and illustrative cases. Based on this dataset, SciDiagBench develops an evaluation method that leverages a preference-guided calibration process to incorporate human preferences into the generation of type-specific criteria. Ultimately, SciDiagBench enables more reliable automated evaluation that better aligns with human evaluation across diverse scientific diagrams.
• Abstract（参考訳）: 近年のエージェントは、テキストのプロンプトから画像を生成する強力な能力を示し、科学図作成に活用する動機となっている。 科学図は自然に多様な種類にまたがっており、それぞれ異なる視覚構造とコンテンツ組織によって特徴づけられる。 その結果、ピアレビューやその他の科学的評価の間、人間の専門家は、その品質を評価する際に、タイプ固有の基準を自然に検討した。 しかしながら、既存のVLMベースの評価ベンチマークでは、上記の人間の評価プラクティスを2つの主な理由から反映していない。 1) ベンチマークデータセットは一般的に、異なるダイアグラム型の体系的な分類を欠いているため、すべてのダイアグラムに対して同じ一般的な基準を採用しています。 2) 評価基準は, 人的評価の嗜好と明確に一致しないまま, ヒューリスティックに設計されることが多い。 これらの制約に触発されたSciDiagBenchは、科学的図を体系的に11のタイプに分類するベンチマークデータセットと、人間の嗜好誘導評価手法からなる。 具体的には、SciDiagBenchは10の広い領域にまたがる165の科学図を含んでいる。 このデータセットに基づいて、SciDiagBenchは、選好誘導キャリブレーションプロセスを利用して、人間の選好をタイプ固有の基準の生成に組み込む評価方法を開発した。 最終的に、SciDiagBenchはより信頼性の高い自動評価を可能にする。

関連論文リスト

• LG-Bench: A Graph-Structured Evaluation Benchmark for Life Sciences [69.5138691200144]
  今回紹介するのは、生命科学のためのグラフ構造化ベンチマークで、医学、生物学、化学の分野にまたがる1万以上の高品質なマルチチョイスの質問を特徴とする。 提案手法は,二方向マッチングとセマンティック類似性アルゴリズムを用いて重み付き評価グラフを構築し,ノードが質問を表現し,エッジ重みがセマンティック関係をキャプチャする。 Global Coherence Score (GCS) は意味的に関連する地区内のモデルの一貫性を測定し、Knowledge Balance Score (KBS) は概念的な盲点を明らかにするために、グラフ全体でモデルエラーがどのように分散されているかを分析する。
  論文  参考訳（メタデータ） (2026-10-19T17:38:05Z)
• SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context [27.236953887247125]
  SciFigQual-Benchは5次元の科学的画像を評価するフルテキスト文脈ベンチマークである。 このデータは、2020年から2025年までのコンピュータサイエンスカンファレンスのトップをカバーしている。 従来の科学的フィギュアベンチマークとは異なり、私たちのデータセットは各イメージをキャプションにバインドし、文や原稿のコンテキストを引用します。
  論文  参考訳（メタデータ） (2026-07-29T16:07:44Z)
• Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models [0.0]
  SciDraw-Benchは、8つの図形タイプと10の分野にまたがる32の構造化された科学フィギュア生成タスクのベンチマークである。 各タスクは自然言語プロンプトと、必要なラベル、関係、コンポーネント、規約、負の制約のマシンチェック可能な仕様とをペアリングする。 ドメイン固有システムであるSciDraw AIを汎用のテキスト・ツー・イメージモデルに対して評価し、コード・ツー・フィギュア・ベースラインを計画的拡張として概説する。
  論文  参考訳（メタデータ） (2026-06-24T14:21:01Z)
• Gesture Generation (Still) Needs Improved Human Evaluation Practices: Insights from a Community-Driven State-of-the-Art Benchmark [55.41250396114216]
  音声認識による3Dジェスチャー生成における人的評価の実践について検討する。 本稿では,広範に使用されているBEAT2モーションキャプチャーデータセットの詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2025-11-03T05:17:28Z)
• MoVa: Towards Generalizable Classification of Human Morals and Values [57.93595662296688]
  MoVaは、人間の道徳と価値観の一般化可能な分類のための、文書化されたリソーススイートである。 MoVaのデータと手法は、人間と機械のコミュニケーションを細かく解釈するのに役立つ。
  論文  参考訳（メタデータ） (2025-09-29T02:56:27Z)
• The Skin Game: Revolutionizing Standards for AI Dermatology Model Comparison [0.6144680854063939]
  皮膚画像分類における深層学習アプローチは有望な結果を示しているが、適切な評価を妨げる重要な方法論的課題に直面している。 本稿では、皮膚疾患分類研究における現在の方法論の体系的分析を行い、データ準備、強化戦略、パフォーマンス報告におけるかなりの不整合を明らかにした。 本稿では、厳密なデータ準備、系統的誤り解析、異なる画像タイプのための特別なプロトコルを強調し、モデル開発、評価、臨床展開のための包括的な方法論的勧告を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:15:36Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Multi-Criteria Comparison as a Method of Advancing Knowledge-Guided Machine Learning [1.6574413179773761]
  本稿では,AI/MLモデルの評価に適用可能な一般化可能なモデル評価手法について述べる。 本手法は,複数の科学的,理論的,実践的基準にまたがる,様々なタイプの候補モデルと構造の評価を行う。
  論文  参考訳（メタデータ） (2024-03-18T14:50:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。