論文の概要: SciMIF: Understanding Multimodal Instruction Following in Scientific Domains

• arxiv url: http://arxiv.org/abs/2608.25973v1
• Date: Wed, 26 Aug 2026 16:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.909369
• Title: SciMIF: Understanding Multimodal Instruction Following in Scientific Domains
• Title（参考訳）: SciMIF:科学領域におけるマルチモーダルインストラクションの理解
• Abstract要約: SciMIFは、複雑な科学的指示に従う際にMLLMの能力を評価するために設計された新しいベンチマークである。 5つの代表的な科学分野にまたがる22の異なるタスクの分析に基づいて,包括的分類法を提案する。 我々は,既存の科学的データセットを体系的に増強する高忠実性インジェクションインジェクションパイプラインを開発した。
• 参考スコア（独自算出の注目度）: 50.54744513908656
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Understanding instruction-following capabilities in scientific domains is essential for effectively leveraging Multimodal Large Language Models (MLLMs) to advance the development of scientific fields. In this work, we introduce SciMIF, a novel benchmark designed to evaluate the capability of MLLMs in following complex scientific instructions. Specifically, based on an extensive analysis of 22 distinct tasks across 5 representative scientific disciplines, we propose a comprehensive taxonomy comprising 10 constraint groups that captures both general functional requirements and discipline-specific characteristics. Guided by this taxonomy, we develop a high-fidelity instruction injection pipeline to systematically augment existing scientific datasets. We conduct comprehensive experiments on multiple state-of-the-art closed-source and open-source MLLMs. Our findings reveal significant performance disparities across different scientific disciplines, with chemistry posing greater challenges for current MLLMs. Furthermore, we observe that increasing the model scale does not yield corresponding improvements in constraint adherence, and current models still struggle severely with fine-grained constraints and instructions requiring the deep application of disciplinary knowledge. SciMIF fills the current void in evaluating multimodal instruction adherence within scientific domains, laying a crucial foundation for future enhancements of MLLMs in rigorous scientific applications. Data and code will be released at https://github.com/shenye7436/SciMIF .
• Abstract（参考訳）: 科学領域における指示追従能力の理解は, MLLM(Multimodal Large Language Models)を効果的に活用し, 科学分野の発展を推し進めるために不可欠である。 本研究では,MLLMの複雑な科学的指示に従う能力を評価するための新しいベンチマークであるSciMIFを紹介する。 具体的には、5つの代表的な科学分野にまたがる22の異なるタスクを広範囲に分析し、一般的な機能的要件と規律固有の特徴の両方を捉える10の制約群からなる包括的分類法を提案する。 この分類法により,既存の科学的データセットを体系的に増強する高忠実性インジェクションインジェクションパイプラインを開発した。 我々は、複数の最先端のクローズドソースおよびオープンソースMLLMに関する包括的な実験を行う。 以上の結果から, 化学は現在のMLLMにより大きな課題を呈し, 異なる科学分野における性能格差が顕著であることがわかった。 さらに,モデルスケールの増大は制約の順応性の改善には至らず,現在のモデルでは詳細な制約やディシプリナ知識の深い適用を必要とする命令に苦戦している。 SciMIFは、科学領域内でのマルチモーダルな命令順守の評価における現在の空白を埋め、厳密な科学応用におけるMLLMの今後の強化のための重要な基盤を築き上げている。 データとコードはhttps://github.com/shenye7436/SciMIF でリリースされる。

関連論文リスト

• From Knowledge to Action: Outcomes of the 2025 Large Language Model (LLM) Hackathon for Applications in Materials Science and Chemistry [109.17159174400912]
  大規模言語モデル(LLM)は、材料科学と化学の研究者が科学的知識を発見し、組織化し、行動する方法を急速に変化させている。 本稿では,これらのシステムを科学研究ライフサイクル全体にわたって利用するための新たなパターンを明らかにするために,コミュニティが開発したLLMアプリケーションを幅広く分析する。
  論文  参考訳（メタデータ） (2026-05-04T22:48:45Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• Scientists' First Exam: Probing Cognitive Abilities of MLLM via Perception, Understanding, and Reasoning [89.35614593500515]
  我々は,Multimodal Large Language Models (MLLM) の科学的認知能力を評価するために設計された,Scientists' First Exam (SFE) ベンチマークを提示する。 SFEは3つの質問タイプにまたがる830のエキスパート検証VQAペアで構成され、5つの高価値分野にまたがる66のマルチモーダルタスクにまたがる。 実験の結果、現在最先端のGPT-o3とInternVL-3はSFEでわずか34.08%と26.52%しか達成できず、MLLMが科学領域で改善する余地があることが明らかになった。
  論文  参考訳（メタデータ） (2025-06-12T09:29:16Z)
• Position: Multimodal Large Language Models Can Significantly Advance Scientific Reasoning [51.11965014462375]
  MLLM(Multimodal Large Language Models)は、テキスト、画像、その他のモダリティを統合する。 本稿では,MLLMが数学,物理,化学,生物学などの分野にまたがる科学的推論を著しく前進させることができることを論じる。
  論文  参考訳（メタデータ） (2025-02-05T04:05:27Z)
• SciDFM: A Large Language Model with Mixture-of-Experts for Science [18.748699390397363]
  我々は,SciDFMを紹介した。SciDFMは,スクラッチから訓練され,大学レベルの科学的推論を行うことができる。 ドメイン固有のデータベースのデータだけでなく、さまざまな分野の科学論文や書籍を含む大規模学習コーパスを収集する。 SciDFMはSciEvalやSciQなどの一般的な科学的ベンチマークにおいて高い性能を示し、類似サイズのモデル間のドメイン固有ベンチマークにおいてSOTA性能に達することを示す。
  論文  参考訳（メタデータ） (2024-09-27T03:00:29Z)
• MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
  本稿では,72の科学分野をカバーするNature Communicationsの記事からまとめられた包括的データセットについて述べる。 2つのベンチマークタスク(図のキャプションと複数選択)で19のプロプライエタリモデルとオープンソースモデルを評価し,人手による注釈を行った。 タスク固有データを用いた細調整Qwen2-VL-7Bは、GPT-4oや人間の専門家でさえも、マルチチョイス評価において優れた性能を示した。
  論文  参考訳（メタデータ） (2024-07-06T00:40:53Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [24.394320592613074]
  大規模言語モデル(LLM)は、科学研究においてますます重要な役割を担っている。 これらのモデルに埋め込まれた科学的知識の広さと深さを評価するための包括的なベンチマークがまだ残っていない。 SciKnowEvalは,5段階の科学的理解の段階にわたってLSMを評価するために設計された大規模データセットである。
  論文  参考訳（メタデータ） (2024-06-13T13:27:52Z)
• Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
  大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。 LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。 AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
  論文  参考訳（メタデータ） (2024-01-26T05:33:34Z)
• An Interdisciplinary Outlook on Large Language Models for Scientific Research [3.4108358650013573]
  本稿では,異なる学問分野におけるLarge Language Models(LLM)の機能と制約について述べる。 本稿では, LLM が学術調査の強化を図り, 大量の出版物を要約することで, 文献レビューの促進などの具体的な事例を提示する。 LLMが直面する課題には、広範囲で偏見のあるデータセットへの依存や、それらの使用から生じる潜在的な倫理的ジレンマが含まれる。
  論文  参考訳（メタデータ） (2023-11-03T19:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。