論文の概要: Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains
- arxiv url: http://arxiv.org/abs/2608.09873v1
- Date: Mon, 10 Aug 2026 17:27:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.397229
- Title: Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains
- Title（参考訳）: Sci-VBench:科学領域における知識と推論の集中的ビデオ生成の評価
- Abstract要約: Sci-VBenchは、知識と推論集約的なビデオ生成を科学的領域にわたって評価するためのベンチマークである。
ここには、自然科学、医療、人文科学、社会科学、工学という4つの中核分野にまたがる60の被験者にまたがる1253のエキスパート注釈の例が含まれている。
- 参考スコア（独自算出の注目度）: 15.749662582403614
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Sci-VBench, a comprehensive benchmark for evaluating knowledge- and reasoning-intensive video generation across scientific domains. It contains 1,253 expert-annotated examples spanning 60 subjects across four core disciplines: Natural Science, Healthcare, Humanities & Social Sciences, and Engineering. Each example requires models to generate temporally rich videos that demand scientific reasoning and knowledge-grounded synthesis, going beyond surface-level visual plausibility. We further establish a rubric-based evaluation protocol. Our analysis shows that, under this protocol, both non-expert human evaluators and MLLM-as-Judge systems can achieve relatively high agreement with expert judgments, supporting reproducible evaluation at scale. We benchmark 16 frontier proprietary and open-source models and find that, while automatic perceptual-quality scores cluster tightly across systems, performance on Prompt Grounding and Scientific and Causal Correctness varies substantially, with a pronounced proprietary-open-source gap. These findings show that advances in visual realism have not yet translated into reliable modeling of scientific and causal dynamics.
- Abstract（参考訳）: Sci-VBenchは、知識と推論集約的なビデオ生成を科学的領域にわたって評価するための総合的なベンチマークである。
ここには、自然科学、医療、人文科学、社会科学、工学という4つの中核分野にまたがる60の被験者にまたがる1253のエキスパート注釈の例が含まれている。
それぞれの例は、科学的推論と知識に基づく合成を必要とする時間的に豊かなビデオを生成するモデルを必要とする。
我々はさらにルーリックに基づく評価プロトコルを確立する。
このプロトコルでは,非専門家評価システムとMLLM-as-Judgeシステムの両方が専門家の判断と比較的高い一致を達成でき,再現性評価を大規模に支援できることを示す。
我々は16のフロンティアプロプライエタリおよびオープンソースモデルをベンチマークし、自動知覚品質スコアがシステム間で密集しているのに対して、Prompt GroundingとScientificとCausal Correctnessのパフォーマンスは、プロプライエタリ-オープンソースギャップを顕著に示しながら大きく変化していることを確認した。
これらの結果は、視覚リアリズムの進歩が科学的・因果的力学の信頼性のあるモデリングにまだ翻訳されていないことを示している。
関連論文リスト
- Faithful, Enriched, and Precise: Benchmarking Natural-Science Illustration Generation by T2I models [49.93401412148884]
FEPBenchは、慎重に選択された高品質な科学イラストから構築されたベンチマークである。
我々は,T2Iモデルについて,命令忠実度,推論エンリッチメント,意味的精度の3つの次元に沿って評価する。
その結果、GPT Image 2やNano Banana Proのような最先端のクローズドソースモデルでさえ、テキストレンダリングのボトルネック、推論のリッチ化の制限、生成のリッチネスと精度のバランスの難しさに悩まされていることがわかった。
論文 参考訳（メタデータ） (2026-06-04T09:49:02Z) - RISE-Video: Can Video Generators Decode Implicit World Rules? [71.92434352963427]
テキスト画像合成(TI2V)の先駆的推論指向ベンチマークであるRISE-Videoを提案する。
RISE-Videoは、8つの厳格なカテゴリにまたがる、細心の注意深い人手によるサンプル467種からなる。
本研究では,LMM(Large Multimodal Models)を利用して人中心評価をエミュレートする自動パイプラインを提案する。
論文 参考訳（メタデータ） (2026-02-05T18:36:10Z) - HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。
HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
論文 参考訳（メタデータ） (2025-12-28T12:08:05Z) - SciEvalKit: An Open-source Evaluation Toolkit for Scientific General Intelligence [99.30934038146965]
SciEvalKitは、科学知能のコア能力に焦点を当てている。
物理学、化学から天文学、材料科学まで6つの主要な科学領域をサポートしている。
このツールキットはオープンソースで、コミュニティ主導の開発とAI4Scienceの進歩を促進するために積極的にメンテナンスされている。
論文 参考訳（メタデータ） (2025-12-26T17:36:02Z) - Benchmarking Scientific Understanding and Reasoning for Video Generation using VideoScience-Bench [19.261278000675773]
VideoScience-Benchは、ビデオモデルにおける学部レベルの科学的理解を評価するために設計されたベンチマークである。
ベンチマークには、14のトピックと103の物理と化学の概念にまたがる200の厳格なプロンプトが含まれている。
我々は,T2VおよびI2V設定の7つの最先端ビデオモデルに対して,5次元に沿って専門家によるアノテート評価を行う。
論文 参考訳（メタデータ） (2025-12-02T17:11:23Z) - SciEducator: Scientific Video Understanding and Educating via Deming-Cycle Multi-Agent System [42.24867393406526]
SciEducatorは、科学ビデオ理解と教育のための自己進化型マルチエージェントシステムである。
我々のデザインは、プラン-Do-Study-Actの哲学を自己進化的推論とフィードバックのメカニズムに再構成する。
特定の科学的プロセスに合わせて、マルチモーダルな教育コンテンツを作成できる。
論文 参考訳（メタデータ） (2025-11-22T06:54:16Z) - SciVideoBench: Benchmarking Scientific Video Reasoning in Large Multimodal Models [89.10286051587151]
SciVideoBenchは、科学的文脈における高度なビデオ推論を評価するために設計された厳密なベンチマークである。
SciVideoBenchは、最先端の科学実験ビデオから得られた、慎重に構築された1000の多重選択質問で構成されている。
我々の評価は、最先端のプロプライエタリおよびオープンソース LMM における大幅な性能低下を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-10-09T17:59:23Z) - A Survey of Scientific Large Language Models: From Data Foundations to Agent Frontiers [251.23085679210206]
科学大規模言語モデル(Sci-LLMs)は、科学研究において、知識の表現、統合、適用の方法を変えつつある。
この調査は、モデルとその基盤となるデータ基板の共進化として、Sci-LLMの開発を再考する。
我々は、科学的データの統一された分類法と、科学的知識の階層的なモデルを定式化する。
論文 参考訳（メタデータ） (2025-08-28T18:30:52Z) - SciHorizon: Benchmarking AI-for-Science Readiness from Scientific Data to Large Language Models [36.724471610075696]
SciHorizonはAI4Scienceの可読性を評価するために設計された総合的なアセスメントフレームワークである。
まず、品質、FAIRネス、説明可能性、コンプライアンスの4つの重要な側面を含む、AI対応の科学データを評価するための一般化可能なフレームワークを紹介します。
我々は、地球、生命、材料科学のためのAI対応データセットのレコメンデーションリストを提示し、この分野に新しく独自の貢献をする。
論文 参考訳（メタデータ） (2025-03-12T11:34:41Z) - SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [24.394320592613074]
大規模言語モデル(LLM)は、科学研究においてますます重要な役割を担っている。
これらのモデルに埋め込まれた科学的知識の広さと深さを評価するための包括的なベンチマークがまだ残っていない。
SciKnowEvalは,5段階の科学的理解の段階にわたってLSMを評価するために設計された大規模データセットである。
論文 参考訳（メタデータ） (2024-06-13T13:27:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。