論文の概要: Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery

• arxiv url: http://arxiv.org/abs/2608.06931v1
• Date: Fri, 07 Aug 2026 08:06:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.408118
• Title: Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
• Title（参考訳）: 科学のエッジ評価 - 真の科学的発見への第一歩を逃す
• Abstract要約: 大型言語モデル(LLM)は科学的な発見にますます関与している。 それらが複雑な実験室科学を支えられるかどうかは不明だ。 19の大規模言語モデル(MLLM)の評価は、最高の性能モデルでさえ48.7%の精度しか達成していないことを示している。
• 参考スコア（独自算出の注目度）: 41.32793603340132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly involved in scientific discovery, yet it remains unclear whether they can support complex real laboratory science. Here we introduce Science Edge Evaluation (SEE), a multimodal benchmark of expert-curated questions grounded in peer-reviewed literature and experimental practice in chemistry, biology, and materials science. Evaluation of 19 multimodal large language models (MLLMs) shows that even the best-performing model reaches only 48.7% accuracy. Moreover, general-purpose models outperform science-specialized models on average. In the visual-agent evaluation, the use of tools increases the best accuracy to 52.7%. Tool use can expand the information available to models, but more information does not necessarily lead to reliable scientific reasoning. The key challenge is whether models can manage tool-derived information within the boundaries of the original experimental evidence. Together, these findings reveal that current MLLMs still cannot reliably make justified and evidence-bounded inferences from experimental results, which is an essential capability in real scientific discovery. Bridging this gap requires MLLMs to transition from explaining established scientific concepts to deriving novel and evidence-based insights from experimental data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は科学的な発見にますます関与しているが、それらが複雑な実験室科学をサポートできるかどうかは不明だ。 SEE(Science Edge Evaluation)は、化学、生物学、材料科学における、ピアレビューされた文献と実験的な実践に基づく専門家による質問のマルチモーダルベンチマークである。 19のマルチモーダル大言語モデル(MLLM)の評価は、最高のパフォーマンスモデルでさえ48.7%の精度しか達成していないことを示している。 さらに、汎用モデルは科学特化モデルよりも平均的に優れている。 視覚エージェントの評価において、ツールの使用は、最高の精度を52.7%に向上させる。 ツールの使用は、モデルで利用可能な情報を拡張することができるが、より多くの情報が必ずしも信頼できる科学的推論につながるとは限らない。 重要な課題は、モデルが元の実験証拠の境界内でツール由来の情報を管理することができるかどうかである。 これらの結果は、現在のMLLMが実験結果から正当性や証拠に縛られた推論を確実にできないことを示しており、これは実際の科学的発見に欠かせない能力である。 このギャップを埋めるには、MLLMが確立した科学概念の説明から、実験データから新しい証拠に基づく洞察を導き出すへの移行が必要となる。

関連論文リスト

• Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs [8.700507644617964]
  大規模言語モデル(LLM)は、科学概念の伝達や説明にますます利用されている。 本研究は, 科学的に微調整されたモデルと汎用ベースとの対比により, 18 LLM の評価を行った。
  論文  参考訳（メタデータ） (2026-06-19T12:03:02Z)
• Evaluating Large Language Models in Scientific Discovery [91.732562776782]
  大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。 生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。 このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
  論文  参考訳（メタデータ） (2025-12-17T16:20:03Z)
• ExpVid: A Benchmark for Experiment Video Understanding & Reasoning [65.17173232816818]
  科学実験ビデオ上でMLLMを体系的に評価する最初のベンチマークであるExpVidを紹介する。 ExpVid 上で 19 個のMLLM を評価し, 粗粒度認識に優れる一方で, 詳細さの曖昧化, 時間経過による状態変化の追跡, 実験手順と科学的成果のリンクに苦慮していることがわかった。 この結果から,特に高次推論において,プロプライエタリモデルとオープンソースモデルとの顕著なパフォーマンスギャップが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-13T16:45:28Z)
• ScienceMeter: Tracking Scientific Knowledge Updates in Language Models [79.33626657942169]
  大規模言語モデル(LLM)は、科学研究を支援するためにますます使われているが、科学的進歩に関する彼らの知識は急速に時代遅れになる。 我々は,過去,現在,未来にまたがる科学的知識の更新手法を評価するための新しいフレームワークであるScienceMeterを紹介する。
  論文  参考訳（メタデータ） (2025-05-30T07:28:20Z)
• BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery [32.395366135636046]
  実験的な設計とモデル発見を評価するための10環境のベンチマークであるBoxingGymを紹介する。 予測情報ゲイン(EIG)は,実験が生成モデルのパラメータの不確実性をどの程度低減するかを測定する情報理論量である。 GPT-4oのような現在のLLMは、実験的な設計とモデル発見の両方に苦戦している。
  論文  参考訳（メタデータ） (2025-01-02T21:15:57Z)
• LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
  本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。 本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。 法発見と分子設計における枠組みの有効性を実証するための実験を行った。
  論文  参考訳（メタデータ） (2024-05-16T03:04:10Z)
• Diverse Explanations From Data-Driven and Domain-Driven Perspectives in the Physical Sciences [4.442043151145212]
  このパースペクティブは、物理科学における機械学習応用における多様な説明の源泉と意味を探求する。 モデル, 説明方法, 特徴属性レベル, 利害関係者のニーズが, ML出力の様々な解釈をもたらすかを検討する。 我々の分析は、科学的な文脈でMLモデルを解釈する際に、複数の視点を考慮することの重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-02-01T05:28:28Z)
• Large Language Models are Zero Shot Hypothesis Proposers [17.612235393984744]
  大規模言語モデル(LLM)は、情報障壁を断ち切ることを約束する、グローバルかつ学際的な知識の豊富なものである。 バイオメディカル文献から背景知識と仮説ペアからなるデータセットを構築した。 ゼロショット, 少数ショット, 微調整設定において, 最上位モデルの仮説生成能力を評価する。
  論文  参考訳（メタデータ） (2023-11-10T10:03:49Z)
• Modeling Information Change in Science Communication with Semantically Matched Paraphrases [50.67030449927206]
  SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。 SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。 SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2022-10-24T07:44:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。