論文の概要: ProjectionBench: Evaluating Scientific Hypothesis Generation in LLMs Under Progressive Information Disclosure
- arxiv url: http://arxiv.org/abs/2605.30284v1
- Date: Thu, 28 May 2026 17:38:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.63798
- Title: ProjectionBench: Evaluating Scientific Hypothesis Generation in LLMs Under Progressive Information Disclosure
- Title（参考訳）: ProjectionBench: プログレッシブ情報開示下におけるLCMの科学的仮説生成の評価
- Authors: A. J. Lew, Y. Cao, M. J. Buehler,
- Abstract要約: 科学的発見と推論におけるモデル性能を評価するためのベンチマークフレームワークを提案する。
GPT-5, GPT-5.4, Gemini 2.5 pro, Gemini 3.1 pro Previewを, 生体活性物質, 機械材料, ナノ材料にまたがる45紙で評価した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Scientific discovery is an inherently creative and uncertain process, requiring reasoning beyond the recall of known knowledge. While many benchmarks have been proposed to evaluate large language model (LLM) performance on deep research tasks via multi-hop retrieval, their innovative reasoning abilities essential for true scientific discovery remain largely untested. We introduce a benchmark framework for evaluating model performance in scientific discovery and reasoning, building up from a raw problem to the classical null hypothesis test. In our framework, models initially receive only the topic and research question from a recent paper, with technical details progressively revealed. At each stage of information disclosure, the model is tasked with generating hypotheses that address the research question, which is compared with the conclusions from the original paper and evaluated via automated semantic similarity of constituent atomic claims. This progressive evaluation of semantic divergence from ground-truth conclusions enables assessment of a model's innovativeness (under minimal information) to grounded reasoning capabilities (under full experimental details), both critical for using LLMs for scientific discovery purposes. Our framework provides a foundation for systematically evaluating scientific reasoning and discovery capabilities in LLMs, crucial for advancing the development of next-generation AI scientist/co-scientist systems. Specifically, here we evaluate GPT-5, GPT-5.4, Gemini 2.5 pro, and Gemini 3.1 pro preview across 45 papers spanning bioactive materials, mechanical materials, and nanomaterials. We find that GPT-5.4 and Gemini 3.1 pro outperform their previous generation counterparts as expected, and GPT-5.4 in particular maintains 0.7 F1 score alignment with ground truth conclusions even under minimal context.
- Abstract（参考訳）: 科学的発見は本質的に創造的で不確実なプロセスであり、既知の知識のリコール以上の理由を必要とする。
マルチホップ検索により,大規模言語モデル(LLM)の性能を評価するために多くのベンチマークが提案されているが,真の科学的発見に必要な革新的推論能力はほとんど検証されていない。
科学的な発見と推論におけるモデル性能を評価するためのベンチマークフレームワークを導入し、生問題から古典的なヌル仮説テストに構築する。
我々のフレームワークでは、モデルは、最近発表された論文からトピックと研究の質問のみを受け取り、技術的詳細が徐々に明らかになっている。
情報開示の各段階において、モデルは、元の論文の結論と比較し、構成原子クレームの自動意味的類似性によって評価された研究問題に対処する仮説を生成することを課題とする。
この地層構造的結論から意味的発散を段階的に評価することで、モデルの革新性(最小限の情報の下で)を基礎的推論能力(完全な実験的な詳細下で)に評価することができる。
我々のフレームワークは、LLMにおける科学的推論と発見能力を体系的に評価するための基盤を提供する。
具体的には, GPT-5, GPT-5.4, Gemini 2.5 pro, Gemini 3.1 pro Previewを, 生体活性物質, 機械材料, ナノ材料にまたがる45の論文で評価した。
GPT-5.4 と Gemini 3.1 は、予想通り前の世代よりも優れており、特に GPT-5.4 は、最小限の文脈下においても、0.7 F1 のスコアアライメントを維持している。
関連論文リスト
- MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation [20.62843594129358]
分子構造解明のための新規なエージェントベース評価フレームワークであるMolQuestを紹介する。
既存のデータセットとは異なり、MolQuestは分子構造解明をマルチターンインタラクティブタスクとして定式化している。
その結果、現代のフロンティアモデルでは、真正の科学的シナリオにおいて重大な制限が示されることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-26T09:57:17Z) - FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。
最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
論文 参考訳（メタデータ） (2026-02-02T23:21:13Z) - HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。
HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
論文 参考訳（メタデータ） (2025-12-28T12:08:05Z) - Evaluating Large Language Models in Scientific Discovery [91.732562776782]
大規模言語モデル (LLMs) は科学研究にますます応用されてきているが、科学ベンチマークでは非文脈化された知識を探索している。
生物, 化学, 材料, 物理にまたがるLSMを評価するシナリオグラウンドベンチマークを提案する。
このフレームワークは、(i)シナリオタイドアイテムの質問レベル精度と(ii)プロジェクトレベルのパフォーマンスの2つのレベルでモデルを評価する。
論文 参考訳（メタデータ） (2025-12-17T16:20:03Z) - The Ever-Evolving Science Exam [69.20851050366643]
本研究では,基礎モデルの科学的能力を確実に評価するための動的ベンチマークであるEver-Evolving Science Exam (EESE)を紹介する。
1)5つの分野と500以上のサブフィールドにまたがる専門的な科学インスタンス(問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ-問合せ)から構成される。
論文 参考訳（メタデータ） (2025-07-22T12:22:16Z) - BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery [32.395366135636046]
実験的な設計とモデル発見を評価するための10環境のベンチマークであるBoxingGymを紹介する。
予測情報ゲイン(EIG)は,実験が生成モデルのパラメータの不確実性をどの程度低減するかを測定する情報理論量である。
GPT-4oのような現在のLLMは、実験的な設計とモデル発見の両方に苦戦している。
論文 参考訳（メタデータ） (2025-01-02T21:15:57Z) - LiveIdeaBench: Evaluating LLMs' Divergent Thinking for Scientific Idea Generation with Minimal Context [13.967898012303325]
我々は,Large Language Modelsの科学的アイデア生成を評価するベンチマークであるLiveIdeaBenchを紹介する。
我々のベンチマークでは、最先端のLCMのダイナミックパネルを用いて、創発性、実現性、流布性、柔軟性、明快さの5つの重要な側面で生成されたアイデアを評価する。
我々の結果は、QwQ-32B-previewのようなモデルが、一般的な知能スコアに大きな差があるにもかかわらず、claude-3.7-sonnet:thinkingのような上位モデルのモデルに匹敵する創造的なパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2024-12-23T14:13:44Z) - Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。
従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。
パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
論文 参考訳（メタデータ） (2023-09-06T05:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。