論文の概要: Can AI Agents Synthesize Scientific Conclusions?

• arxiv url: http://arxiv.org/abs/2606.11337v1
• Date: Tue, 09 Jun 2026 18:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.131051
• Title: Can AI Agents Synthesize Scientific Conclusions?
• Title（参考訳）: AIエージェントは科学的結論を合成できるか?
• Abstract要約: 我々は、9.11K質問のベンチマークであるSciConBenchを紹介し、体系的なレビューから専門家による結論を導き、オープンドメインの科学的結論合成を評価する。 SciConHarnessも紹介する。SciConHarnessはクリーンルーム評価用ハーネスで、エージェントに制御されたWebインタラクションを装備し、有効測定を確実にする。 以上の結果から,科学的結論の信頼性は依然として未解決の課題であり,オープンドメインAIエージェントの評価にはクリーンルーム評価が不可欠であることが示唆された。
• 参考スコア（独自算出の注目度）: 35.01145833955259
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scientific AI agents increasingly retrieve evidence, reason across sources, and synthesize conclusions used in consequential decisions. Yet, their ability to do so in high-stakes domains such as health remains unclear. We introduce SciConBench, a large-scale live benchmark of 9.11K questions and expert-written conclusions from systematic reviews to evaluate open-domain scientific conclusion synthesis. The benchmark draws on an expert-validated automated evaluation pipeline that decomposes conclusions into atomic facts and measures correctness and comprehensiveness via factual precision and recall. To mitigate data leakage, we further introduce SciConHarness, a clean-room evaluation harness that equips agents with controlled web interaction to ensure valid measurement. Evaluating 8 frontier models and deep research agents, we find that factual quality remains low: under clean-room settings, the best agent achieves only a factual F1 of 0.337. Our clean-room setting consistently reduces performance relative to unconstrained evaluation, suggesting that leakage inflates estimates of models' true synthesis capabilities. Finally, we audit consumer-facing agents (e.g., Google AI Overview, OpenEvidence) and find they frequently generate incomplete and sometimes contradictory conclusions, even when the ground-truth answer is available. Overall, our results show that reliable synthesis of scientific conclusions remains an open challenge, and that clean-room evaluation is essential for assessing open-domain AI agents.
• Abstract（参考訳）: 科学AIエージェントは、ますます証拠を回収し、情報源をまたいで推論し、連続的な決定に使用される結論を合成する。 しかし、健康などの高い領域で行う能力はいまだに不明である。 SciConBenchは、9.11K質問の大規模ライブベンチマークであり、体系的なレビューから専門家による結論を導き、オープンドメインの科学的結論合成を評価する。 このベンチマークは、専門家が検証した自動評価パイプラインに基づいており、結論を原子的な事実に分解し、事実の精度とリコールを通じて正確性と包括性を測定する。 SciConHarnessは、制御されたWebインタラクションをエージェントに装備し、有効測定を確実にするクリーンルーム評価ハーネスである。 8つのフロンティアモデルとディープリサーチエージェントを評価すると、実際の品質は依然として低いことが分かる。 我々のクリーンルーム設定は、制約のない評価と比較して一貫して性能を低下させ、リークがモデルの真の合成能力の推定を膨らませていることを示唆している。 最後に、コンシューマー向けエージェント(例えば、Google AI概要、OpenEvidence)を監査し、基調的な回答が利用可能であっても、不完全で時には矛盾する結論を頻繁に生成する。 全体として、科学的結論の信頼性は依然としてオープンな課題であり、オープンなドメインAIエージェントの評価にはクリーンルームの評価が不可欠であることを示す。

関連論文リスト

• SCIRIGOR:Evaluating Open-Ended Scientific Analysis Beyond Final Scores [11.097584790037454]
  我々は,エビデンスを基盤としたマルチモーダルな科学分析を定式化し,エージェントが実行可能分析と同一実行時の結果と視覚化によって支持されるクレームを生成することを要求した。 SciRIGORは6つの領域と17のサブフィールドにまたがる科学論文から100のケースをまとめた評価フレームワークとベンチマークである。 完全ベンチマークでは、主張はほぼ同じ率(91.8%対91.0%)で忠実で不信な結果に同意するが、ソフトエビデンスチェーンスコアでは62.6%、厳密な全チェーン成功では18.0%を超えない。
  論文  参考訳（メタデータ） (2026-09-05T17:29:15Z)
• Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
  大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。 仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。 本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
  論文  参考訳（メタデータ） (2026-07-17T08:56:43Z)
• Benchmarking AI Agents for Addressing Scientific Challenges Across Scales [118.2204632627895]
  SciAgentArenaは、現実世界の科学研究シナリオでAIエージェントを評価するための体系的なベンチマークである。 ステップワイズ検証を備えた約200のタスクと、多様なAIエージェントを評価するためのインタラクティブでエージェントに依存しない環境で構成される。 タスク構造や評価基準が明確である場合, 現状のエージェントはデータ分析に効果的に貢献できることがわかった。
  論文  参考訳（メタデータ） (2026-06-10T22:55:30Z)
• AgentSLR: Automating Systematic Literature Reviews in Epidemiology with Agentic AI [10.216500161437777]
  大規模言語モデルが完全な体系的レビューワークフローを自動化できるかを検討する。 WHOが指定した9つの優先病原菌の疫学的レビューを応用し、我々のパイプラインは人間の研究者に匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2026-03-20T17:11:58Z)
• DREAM: Deep Research Evaluation with Agentic Metrics [21.555357444628044]
  本稿では,DREAM(Deep Research Evaluation with Agentic Metrics)を提案する。 DREAM構造評価は、クエリ非依存のメトリクスとツール呼び出しエージェントが生成する適応的なメトリクスを組み合わせた評価プロトコルを用いて行われる。 制御された評価は、DREAMが既存のベンチマークよりも事実や時間的劣化にかなり敏感であることを示している。
  論文  参考訳（メタデータ） (2026-02-21T19:14:31Z)
• Knowing When Not to Answer: Abstention-Aware Scientific Reasoning [2.680633756465714]
  科学的条件下では、支持または不確実な結論は、棄権するよりも有害である。 本稿では,この問題に対して,留意点を考慮した検証フレームワークを用いて検討する。 我々はこのフレームワークをSciFactとPubMedQAの2つの科学的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-02-15T15:29:43Z)
• The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
  我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。 我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。 我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
  論文  参考訳（メタデータ） (2026-02-05T19:00:02Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• DeepEra: A Deep Evidence Reranking Agent for Scientific Retrieval-Augmented Generated Question Answering [28.427433335623217]
  ステップバイステップ推論を統合したディープエビデンス評価エージェント(DeepEra)を提案する。 この研究は、2段階のRAGフレームワークにおいて、無視できないSSLI問題を包括的に研究し、実証的に検証した初めてのものである。
  論文  参考訳（メタデータ） (2026-01-23T06:19:08Z)
• The Evaluation Gap in Medicine, AI and LLMs: Navigating Elusive Ground Truth & Uncertainty via a Probabilistic Paradigm [49.287792149338976]
  基礎的真理解における高い確実性は、専門家でさえ高いスコアを得るのに、ほぼ常に必要であるということを理論的に説明するために確率論的パラダイムを導入する。 そこで我々は,有能な人間やシステムが与えられた真理応答の変動を推定するために,期待精度と期待F1の概念を導出する。
  論文  参考訳（メタデータ） (2026-01-09T03:19:37Z)
• Probing Scientific General Intelligence of LLMs with Scientist-Aligned Workflows [203.3527268311731]
  PIM(Practical Inquiry Model)に基づく運用SGI定義を提案する。 深層研究、アイデア生成、ドライ/ウェット実験、実験推論の4つのタスクを通じて運用しています。 私たちのPIMによる定義、ワークフロー中心のベンチマーク、実証的な洞察は、真に科学的な発見に参加するAIシステムの基盤を確立します。
  論文  参考訳（メタデータ） (2025-12-18T12:44:36Z)
• Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
  我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。 これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。 本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-29T08:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。