論文の概要: SciDocBench: A Workflow-Centered Benchmark and Data Pipeline for Scientific Document Understanding
- arxiv url: http://arxiv.org/abs/2609.05141v1
- Date: Fri, 04 Sep 2026 13:39:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.059143
- Title: SciDocBench: A Workflow-Centered Benchmark and Data Pipeline for Scientific Document Understanding
- Title（参考訳）: SciDocBench: 科学的ドキュメント理解のためのワークフロー中心のベンチマークとデータパイプライン
- Abstract要約: 我々は、科学文書理解のためのワークフロー中心のベンチマークであるSciDocBenchを紹介する。
7つの研究支援グループと5つの科学領域にまたがる19のサブタスクで構成されている。
最も評価の高いシステムは62.6/100であり、文書認識、証拠根拠、検証、文書横断推論の弱点が顕著である。
SciDocIR上に構築したSciDocDatasetは、約15Kの微調整サンプルと、14の検証可能なサブタスクにわたる8Kの強化学習サンプルから構成される。
- 参考スコア（独自算出の注目度）: 51.537009919690696
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Scientific papers require models to reason jointly over text, equations, figures, tables, code, and datasets while preserving the provenance of supporting evidence. Existing benchmarks typically evaluate these capabilities in isolation, leaving unclear whether multimodal models can support realistic scientific-reading workflows. We introduce SciDocBench, a workflow-centered benchmark for scientific document understanding. It contains 124 expert-authored and difficulty-screened questions organized into seven research-assistant capability groups and 19 subtasks across five scientific domains. Each question is instantiated under four matched conditions combining English or Chinese questions with all-images-first or interleaved document representations, yielding 496 evaluation instances for controlled analysis. The strongest evaluated system achieves only 62.6/100, with pronounced weaknesses in document perception, evidence grounding, verification, and cross-document reasoning. To translate these diagnostics into scalable training signals, we introduce SciDocIR, a typed evidence-graph representation that preserves scientific document objects, layout and cross-reference relations, and provenance. Building on SciDocIR, we construct SciDocDataset, comprising approximately 15K supervised fine-tuning samples and 8K reinforcement-learning samples across 14 verifiable subtasks. Together, SciDocBench, SciDocIR, and SciDocDataset form an evaluation-to-training framework for diagnosing and improving scientific-document assistants. The project page is available at https://github.com/InternLM/SciDocBench.
- Abstract（参考訳）: 科学的論文は、証拠を裏付ける証拠を保存しながら、テキスト、方程式、数字、表、コード、データセットを共同で推論するモデルを必要とする。
既存のベンチマークでは、これらの機能を独立して評価しており、マルチモーダルモデルが現実的な科学的読解ワークフローをサポートできるかどうかは不明だ。
我々は、科学文書理解のためのワークフロー中心のベンチマークであるSciDocBenchを紹介する。
7つの研究支援グループと5つの科学領域にまたがる19のサブタスクで構成されている。
各質問は、英語または中国語の質問とオールイメージファーストまたはインターリーブド文書表現を組み合わせた4つの一致した条件下でインスタンス化され、制御された分析のための496の評価インスタンスが生成される。
最も評価の高いシステムは62.6/100であり、文書認識、証拠根拠、検証、文書横断推論の弱点が顕著である。
これらの診断をスケーラブルなトレーニング信号に変換するために,科学的文書オブジェクト,レイアウトおよび相互参照関係,証明性を保持する型付エビデンスグラフ表現であるSciDocIRを導入する。
SciDocIR上に構築したSciDocDatasetは、約15Kの微調整サンプルと、14の検証可能なサブタスクにわたる8Kの強化学習サンプルから構成される。
SciDocBench、SciDocIR、SciDocDatasetは共に、科学的文書アシスタントの診断と改善のための評価からトレーニングのためのフレームワークを構築している。
プロジェクトページはhttps://github.com/InternLM/SciDocBench.comで公開されている。
関連論文リスト
- SciForge: An AI-Native, Multimodal Workbench for Scientific Discovery [48.99744520105086]
SciForgeはマルチモーダルな研究ネイティブAIワークベンチである。
検索、解析、モデルルーティング、ワークフローの実行、プロット、書き込み、プレゼンテーション生成がモジュラーエージェントアクセス可能なサービスとして実行される間、人間の判断のためにグラフィカルインターフェースを予約する。
論文 参考訳（メタデータ） (2026-07-17T15:13:03Z) - SciMDR: Benchmarking and Advancing Scientific Multimodal Document Reasoning [59.93568326270048]
集中セグメント上での忠実で孤立したQAペアを生成する合成合成フレームワークを提案する。
クロスモーダル理解のための大規模トレーニングデータセットであるSciMDRを構築した。
実験により、SciMDRモデルは複数の科学的QAベンチマークで大幅に改善されていることが示された。
論文 参考訳（メタデータ） (2026-03-12T17:57:52Z) - ResearchPulse: Building Method-Experiment Chains through Multi-Document Scientific Inference [19.363580418167114]
我々は、関連論文のモチベーション、方法論、実験結果を抽出し、調整する新しいタスクである、多文書科学的推論を定式化する。
提案するResearchPulseは,指導計画,科学コンテンツ抽出,構造化可視化を統合したエージェントベースのフレームワークである。
このタスクを支援するために、注釈付き紙クラスターの引用対応ベンチマークであるResearchPulse-Benchを紹介する。
論文 参考訳（メタデータ） (2025-09-03T15:45:03Z) - SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation [2.985620880452744]
SciSageはリフレクション・ワン・ユー・ライト・パラダイムを使ったマルチエージェント・フレームワークである。
アウトライン、セクション、ドキュメントレベルでのドラフトを批判的に評価し、クエリの解釈、コンテンツ検索、洗練のための特別なエージェントと協調する。
また、11のコンピュータサイエンス領域にわたる46のハイインパクト論文(2020-2025)のベンチマークであるSurveyScopeをリリースしています。
論文 参考訳（メタデータ） (2025-06-15T02:23:47Z) - OmniDocBench: Benchmarking Diverse PDF Document Parsing with Comprehensive Annotations [22.336858733121158]
OmniDocBenchは9つのドキュメントソースにまたがる高品質なアノテーションを特徴とする新しいベンチマークです。
パイプラインベースの手法とエンドツーエンドのビジョン言語モデルの両方を徹底的に評価する。
論文 参考訳（メタデータ） (2024-12-10T16:05:56Z) - BigDocs: An Open Dataset for Training Multimodal Models on Document and Code Tasks [57.589795399265945]
我々は,30タスクにわたる750万のマルチモーダルドキュメントからなる高品質なオープンアクセスデータセットであるBigDocs-7.5Mを紹介した。
BigDocs-Benchも導入しています。
実験の結果,BigDocs-Bench を用いたトレーニングでは,クローズドソース GPT-4o よりも平均性能が 25.8% 向上していることがわかった。
論文 参考訳（メタデータ） (2024-12-05T21:41:20Z) - DocGenome: An Open Large-scale Scientific Document Benchmark for Training and Testing Multi-modal Large Language Models [63.466265039007816]
我々は、arXivオープンアクセスコミュニティの153の分野から500Kの科学文書を注釈付けして構築した構造化文書ベンチマークDocGenomeを提案する。
我々はDocGenomeの利点を実証するために広範な実験を行い、我々のベンチマークで大規模モデルの性能を客観的に評価した。
論文 参考訳（メタデータ） (2024-06-17T15:13:52Z) - SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。
これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。
SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
論文 参考訳（メタデータ） (2024-06-10T21:22:08Z) - SciRepEval: A Multi-Format Benchmark for Scientific Document
Representations [52.01865318382197]
SciRepEvalは、科学文書表現のトレーニングと評価のための最初の総合的なベンチマークである。
SPECTERやSciNCLのような最先端のモデルが、タスクフォーマットをまたいだ一般化にどのように苦労しているかを示す。
ドキュメント毎に複数の埋め込みを学習する新しいアプローチは、それぞれ異なるフォーマットに合わせて、パフォーマンスを改善することができる。
論文 参考訳（メタデータ） (2022-11-23T21:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。