論文の概要: SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context
- arxiv url: http://arxiv.org/abs/2607.27084v1
- Date: Wed, 29 Jul 2026 16:07:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.73767
- Title: SciFigQual-Bench: A Benchmark for Scientific Figure Quality Assessment with Full-Manuscript Context
- Title（参考訳）: SciFigQual-Bench: フルマニュアルコンテキストによる科学的図形品質評価ベンチマーク
- Abstract要約: SciFigQual-Benchは5次元の科学的画像を評価するフルテキスト文脈ベンチマークである。
このデータは、2020年から2025年までのコンピュータサイエンスカンファレンスのトップをカバーしている。
従来の科学的フィギュアベンチマークとは異なり、私たちのデータセットは各イメージをキャプションにバインドし、文や原稿のコンテキストを引用します。
- 参考スコア（独自算出の注目度）: 27.236953887247125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific images are the core elements of presenting experimental conclusions, elaborating system architecture, and supporting comparative arguments in scientific papers. However, existing image quality assessment (IQA) methods are predominantly designed for natural photographs or AI-generated content, which cannot be directly applied to scientific papers. The few existing studies on scholarly charts remain confined to visual-surface comparisons, failing to verify caption alignment, citation relevance, or visual misleadingness. To address this, we propose SciFigQual-Bench, a full-text contextual benchmark that evaluates scientific images across five dimensions (clarity, layout, caption fit, context relevance, and misleading risk). The data covers top computer-science conferences from 2020 to 2025; 6,308 images were independently scored by multiple domain experts in five dimensions and aggregated into gold-standard annotations. Unlike previous scientific figure benchmarks, our dataset binds each image to its caption, citing sentence, and manuscript context. To enable automated evaluation on this benchmark, we designed a staged cross-modal evaluation framework SFQ-Agent to achieve auditable and refined scoring through the collection and fusion of modal evidence. Multiple mainstream large models were evaluated on the test subset eval1200, and SFQ-Agent (F3) equipped with GPT-5.6-Sol achieved the lowest overall average absolute error (0.418) and the highest consistency rate (93.4%), consistently outperforming both direct evaluation and auxiliary (Sidecar) visual language model evaluation schemes.
- Abstract（参考訳）: 科学的イメージは、実験的な結論を示し、システムアーキテクチャを解明し、科学論文で比較議論をサポートする中核的な要素である。
しかし、既存の画像品質評価法(IQA)は、主に自然写真やAI生成コンテンツのために設計されており、科学論文には直接適用できない。
学術チャートに関する数少ない研究は、アライメントのアライメント、引用の関連性、あるいは視覚的誤解を検証できず、視覚面の比較に限られている。
これを解決するために,SciFigQual-Benchを提案する。SciFigQual-Benchは,5次元にわたる科学的画像(明瞭さ,レイアウト,キャプション適合性,コンテキスト関連性,誤解を招くリスク)をフルテキストで評価するベンチマークである。
データは2020年から2025年までのコンピュータサイエンスのカンファレンスのトップをカバーし、6,308枚の画像は、複数のドメインの専門家によって5次元で独立して収集され、ゴールドスタンダードのアノテーションに集約された。
従来の科学的フィギュアベンチマークとは異なり、私たちのデータセットは各イメージをキャプションにバインドし、文や原稿のコンテキストを引用します。
本ベンチマークの自動評価を実現するため,我々は,モーダルエビデンスの収集と融合を通じて,監査可能な,洗練されたスコアリングを実現するための,段階的クロスモーダル評価フレームワーク SFQ-Agent を設計した。
GPT-5.6-Solを搭載したSFQ-Agent (F3) は、総合平均絶対誤差 (0.418) と最高一貫性率 (93.4%) を達成した。
関連論文リスト
- SciFigAlign: Scoring Scientific Figures by Fine-tuned Alignment of Visuals with Manuscript Evidence [7.2640055022009635]
SciFigAlignは,原稿証拠の質評価を基礎とした微調整型マルチモーダルスコアラーである。
紙レベルでの分割では、SciFigAlignは0.3524のマクロMAEを達成し、テストセット上では紙内ペアの精度は81.64%である。
論文 参考訳（メタデータ） (2026-07-29T15:54:14Z) - SIQA: Toward Reliable Scientific Image Quality Assessment [72.41803245808924]
我々は,2つの相補的な次元に沿って,科学的画質をモデル化するフレームワークであるSIQA(Scientific Image Quality Assessment)を紹介する。
SIQA-U (Understanding), SIQA-S (Scoring), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding), SIQA-U (Understanding) の2つの評価プロトコルを設計した。
代表的マルチモーダル大言語モデル(MLLM)に対する実験は、アライメントアライメントと科学的理解の間に一貫した相違が見られる。
論文 参考訳（メタデータ） (2026-03-05T06:57:26Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - ProImage-Bench: Rubric-Based Evaluation for Professional Image Generation [151.75112778479468]
本研究では,技術記述から科学的に正確な図形を合成する必要がある専門的な画像生成について検討する。
実際の教科書やテクニカルレポートから収集した654個の図形に対して,詳細な画像指示と,精度を6,076の基準と44,131のバイナリチェックに分解するルーリックの階層を構築した。
ProImage-Bench上でいくつかの代表的なテキスト・ツー・イメージモデルをベンチマークし、オープンドメイン性能が強いにもかかわらず、最良のベースモデルは0.791の精度と0.553の基準スコアにしか達しないことを示した。
論文 参考訳（メタデータ） (2025-12-13T07:13:43Z) - VisJudge-Bench: Aesthetics and Quality Assessment of Visualizations [40.10675156646689]
マルチモーダル大言語モデル (MLLM) は, 自然画像の美的評価において有望な性能を示した。
視覚化を評価する能力を評価するための体系的なベンチマークは存在しない。
視覚美学と品質評価に特化して設計されたモデルであるVisJudgeを提案する。
論文 参考訳（メタデータ） (2025-10-25T17:31:02Z) - SciArena: An Open Evaluation Platform for Foundation Models in Scientific Literature Tasks [87.29946641069068]
我々は,学術文献タスクの基礎モデルを評価するための,オープンで協調的なプラットフォームであるSciArenaを紹介する。
集合的知性を活用することで、SciArenaはコミュニティ主導の、オープンな科学的タスクにおけるモデルパフォーマンスの評価を提供する。
収集した嗜好データに基づいたメタ評価ベンチマークであるSciArena-Evalをリリースする。
論文 参考訳（メタデータ） (2025-07-01T17:51:59Z) - Evaluating Text-to-Image and Text-to-Video Synthesis with a Conditional Fréchet Distance [13.599366291595672]
視覚的忠実度とテキスト・プロンプトの整合性を評価する指標であるcFreDを1つのスコアにまとめる。
本研究は, テキスト条件付きモデルの系統評価において, cFreDを頑健で将来性のある指標として評価するものである。
論文 参考訳（メタデータ） (2025-03-27T17:35:14Z) - SciMMIR: Benchmarking Scientific Multi-modal Information Retrieval [64.03631654052445]
科学領域内の画像テキストペアリングにおけるMMIR性能を評価するための最新のベンチマークは、顕著なギャップを示している。
オープンアクセス用紙コレクションを利用した特殊な科学的MMIRベンチマークを開発する。
このベンチマークは、科学的文書に詳細なキャプションのある数字や表から抽出された、530Kの精巧にキュレートされた画像テキストペアからなる。
論文 参考訳（メタデータ） (2024-01-24T14:23:12Z) - Holistic Evaluation of Text-To-Image Models [153.47415461488097]
我々はテキスト・ツー・イメージ・モデル(HEIM)の全体的評価という新しいベンチマークを導入する。
テキスト・イメージ・アライメント、画像品質、美学、独創性、推論、知識、バイアス、毒性、公正性、堅牢性、多言語性、効率性を含む12の側面を識別する。
以上の結果から,異なるモデルが異なる強みを示すことにより,すべての面において単一のモデルが優れているものはないことが明らかとなった。
論文 参考訳（メタデータ） (2023-11-07T19:00:56Z) - GPT-4 as an Effective Zero-Shot Evaluator for Scientific Figure Captions [22.181665641802468]
本稿では,大言語モデル(LLM)をコスト効率のよい参照不要な図形キャプション評価手法として用いた。
SCICAP-EVALは3,600の科学的図形キャプションに対する人間の判断を含む人間の評価データセットである。
次に,GPT-4 や GPT-3 などの LLM に各キャプション (1-6) のスコアを誘導した。
論文 参考訳（メタデータ） (2023-10-23T23:24:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。