論文の概要: AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery

• arxiv url: http://arxiv.org/abs/2610.23845v1
• Date: Fri, 16 Oct 2026 17:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.062686
• Title: AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery
• Title（参考訳）: 科学的発見におけるAI駆動の再現性と分析的ロバスト性
• Abstract要約: 本報告ではSEER-Reproを20件のSEERベース論文のベンチマークとして紹介し,その結果を再現するために必要なデータと資源について紹介する。 第2に、2,190の原子クレームの77.4%を正常に再現すると同時に、さらなる分析のための実行可能なベースラインを提供するAIエージェントを作成する。 第3に,各発見の根底にある分析的選択を同定することにより,医学的発見の堅牢性をテストするためのエージェント分析パイプラインを開発した。 SEER-Reproで発表された論文の中で、私たちのパイプラインは、完全に再現された発見の9.5%において、潜在的に連続した分析上の選択を特定し、専門家のレビューのためにフラグを立てます。
• 参考スコア（独自算出の注目度）: 34.30741345826174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproducible and analytically robust research findings are essential to scientific progress, but evaluating these properties typically requires costly manual effort. We investigate whether LLM agents can help automate reproduction and robustness analysis, using a medical case study grounded in the Surveillance, Epidemiology, and End Results (SEER) database, a widely used U.S. cancer registry underlying tens of thousands of published studies. First, we introduce SEER-Repro, a benchmark of 20 published SEER-based papers together with the data and resources required to reproduce their findings. Second, we create an AI agent that successfully reproduces 77.4% of 2,190 atomic claims, while providing executable baselines for further analysis. Third, we develop an agentic analysis pipeline to test the robustness of the medical findings by identifying analytical choices underlying each finding, proposing defensible alternatives, and rerunning the analysis to determine whether those choices affect the conclusion. Across published papers in SEER-Repro, our pipeline identifies potentially consequential analytical choices in 9.5% of fully reproduced findings and flags them for expert review. These results show how LLM agents can support scientific review by reproducing findings, systematically testing their robustness, and directing expert attention toward potentially consequential analytical choices.
• Abstract（参考訳）: 再現可能で分析的に堅牢な研究成果は科学的進歩に不可欠であるが、これらの特性を評価するには通常、手作業がかかる。 本研究は, わが国のがん登録機関であるSurveillance, Epidemiology, and End Results (SEER) データベースを基盤とした医療ケーススタディを用いて, LLM エージェントが再現性および堅牢性解析の自動化に有効かどうかを検討した。 まず、SEER-Reproという20件のSEERベースの論文と、その結果を再現するために必要なデータとリソースのベンチマークを紹介する。 第2に、2,190の原子クレームの77.4%を正常に再現すると同時に、さらなる分析のための実行可能なベースラインを提供するAIエージェントを作成する。 第3に,各発見の根底にある分析的選択を同定し,その選択が結論に影響を及ぼすかどうかを判断するために,分析を再実行することにより,医学的発見の堅牢性をテストするエージェント分析パイプラインを開発する。 SEER-Reproで発表された論文の中で、私たちのパイプラインは、完全に再現された発見の9.5%において、潜在的に連続した分析上の選択を特定し、専門家のレビューのためにフラグを立てます。 これらの結果から, LLMエージェントは, 研究結果を再現し, 系統的にその頑健さを検証し, 分析的選択の可能性に専門家の注意を向けることによって, 科学的レビューをいかに支援できるかが示唆された。

関連論文リスト

• Research with AI Agents: How Agentic Systems Are Changing Scientific Work [0.3802675998752554]
  エージェントAIシステムは、文学検索、データ分析、プログラミングなどのタスクをサブタスクに分離する。 これにより、デジタルリサーチタスクを高速に実行することができる。
  論文  参考訳（メタデータ） (2026-09-25T13:01:02Z)
• Bringing analytic rigor to agentic AI for science: The Brain Researcher platform for neuroimaging data analysis [59.44063760362954]
  本稿では、神経イメージング研究者の計算環境で動作するエージェントリサーチハーネスであるBrain Researcherを紹介する。 ベンチマークでは、Brain Researcherは7つのモデルで第1選択ツールの選択精度を70.2ポイント向上させた。 共同研究と自己進化研究において、多元的分析によって分析選択感度が明らかにされ、科学的レビューでは、承認された、認定された、修正された、ブロックされた、拒否された、または延期された。
  論文  参考訳（メタデータ） (2026-08-20T11:13:27Z)
• ResearchClawBench: A Benchmark for End-to-End Autonomous Scientific Research [142.29356526274387]
  我々は自律的な科学的研究を評価するためのベンチマークであるResearchClawBenchを紹介する。 各タスクは、実際の論文に基づき、関連する文献や生データを提供し、評価中に対象の論文を隠蔽する。
  論文  参考訳（メタデータ） (2026-05-28T16:27:40Z)
• AutoResearchBench: Benchmarking AI Agents on Complex Scientific Literature Discovery [55.70879973230979]
  AutoResearchBenchは、自律的な科学文献発見のためのベンチマークである。 エージェントWebブラウジングに関する以前のベンチマークと比較すると、AutoResearchBenchは研究指向である。 最も強力なLCMでさえ、BrowseCompのような一般的なエージェントによるWebブラウジングベンチマークをほとんど征服したにもかかわらず、Deep Researchでは9.39%、Wide Researchでは9.31%の精度しか達成していない。
  論文  参考訳（メタデータ） (2026-04-28T06:05:17Z)
• Towards a Medical AI Scientist [73.6056699962416]
  私たちは、臨床自律研究に特化した最初の自律的な研究フレームワークである、メディカルAIサイエンティストを紹介します。 このフレームワークは3つの研究モード、すなわち論文ベースの再現、文学にインスパイアされた革新、タスク駆動探索で動作する。 本システムでは,提案手法と実装の密接な整合性を実現するとともに,実行可能実験において極めて高い成功率を示す。
  論文  参考訳（メタデータ） (2026-03-30T15:37:25Z)
• The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
  我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。 我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。 我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
  論文  参考訳（メタデータ） (2026-02-05T19:00:02Z)
• FIRE-Bench: Evaluating Agents on the Rediscovery of Scientific Insights [63.32178443510396]
  FIRE-Bench (Full-cycle Insight Rediscovery Evaluation) は、確立された発見の再検討を通じてエージェントを評価するベンチマークである。 最強のエージェントでさえ、限られた再発見成功(50 F1)を達成し、実行中に高いばらつきを示し、実験的な設計、実行、エビデンスに基づく推論において繰り返し失敗モードを表示する。
  論文  参考訳（メタデータ） (2026-02-02T23:21:13Z)
• Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis [3.6324565773746147]
  本論文は,いわゆる多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元多元 9つの重要な分析的決定を、少なくとも1つの等しく防御可能な代替手段で特定する。 圧倒的多数は質的に異なる結果をもたらし、時には反対の結果ももたらした。
  論文  参考訳（メタデータ） (2025-12-09T18:47:00Z)
• Can Large Language Models Match the Conclusions of Systematic Reviews? [43.27182445778988]
  我々は、大言語モデル(LLM)は、同じ研究にアクセスできると、臨床専門家が書いた体系的なレビューの結論に一致するだろうか? MedEvidenceでは、推論、非推論、医療スペシャリスト、さまざまなサイズ(7B-700Bから)のモデルを含む24のLCMをベンチマークします。 MedEvidenceでは、推論が必ずしも性能を向上しておらず、より大規模なモデルでは常に大きな利得が得られず、知識に基づく微調整は精度を低下させる。
  論文  参考訳（メタデータ） (2025-05-28T18:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。