論文の概要: AI Copilots for Reproducibility in Science: A Case Study

• arxiv url: http://arxiv.org/abs/2506.20130v1
• Date: Wed, 25 Jun 2025 04:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.604042
• Title: AI Copilots for Reproducibility in Science: A Case Study
• Title（参考訳）: 科学における再現性のためのAIコパイロット:ケーススタディ
• Authors: Adrien Bibal, Steven N. Minton, Deborah Khider, Yolanda Gil,
• Abstract要約: 本稿では、研究者、レビュアー、読者をサポートするAIベースのプラットフォームであるOpenPubを紹介する。 本研究では, 原稿, コード, 補足資料を分析し, 構造化Jupyterノートブックを生成するReproducibility Copilotを提案する。 その結果、OpenPubは、計算再生に適した数値、表、結果の高カバレッジを実現しつつ、大幅な再生時間を短縮できることがわかった。
• 参考スコア（独自算出の注目度）: 2.9057981978152116
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open science initiatives seek to make research outputs more transparent, accessible, and reusable, but ensuring that published findings can be independently reproduced remains a persistent challenge. This paper introduces OpenPub, an AI-powered platform that supports researchers, reviewers, and readers through a suite of modular copilots focused on key open science tasks. In this work, we present the Reproducibility Copilot, which analyzes manuscripts, code, and supplementary materials to generate structured Jupyter Notebooks and recommendations aimed at facilitating computational, or "rote", reproducibility. We conducted feasibility tests using previously studied research papers with known reproducibility benchmarks. Results indicate that OpenPub can substantially reduce reproduction time - from over 30 hours to about 1 hour - while achieving high coverage of figures, tables, and results suitable for computational reproduction. The system systematically detects barriers to reproducibility, including missing hyperparameters, undocumented preprocessing steps, and incomplete or inaccessible datasets. These findings suggest that AI-driven tools can meaningfully reduce the burden of reproducibility efforts and contribute to more transparent and verifiable scientific communication. The modular copilot architecture also provides a foundation for extending AI assistance to additional open science objectives beyond reproducibility.
• Abstract（参考訳）: オープンサイエンスのイニシアチブは、研究成果をより透明で、アクセス可能で、再利用可能なものにしようと試みているが、公表された発見が独立して再生できることを保証することは、依然として永続的な課題である。 この記事では、研究者、レビュアー、読者を支援するAIベースのプラットフォームであるOpenPubを紹介します。 本研究では, 文書, コード, 補足資料を分析し, 構造化Jupyterノートブックと, 再現性の向上を目的としたレコメンデーションを提案する。 再現性ベンチマークを用いた従来研究論文を用いて実現可能性試験を行った。 その結果、OpenPubは、計算再生に適した数値、表、結果を高いカバレッジでカバーしながら、30時間以上から約1時間までの再現時間を大幅に短縮できることがわかった。 このシステムは、ハイパーパラメータの欠如、未文書の事前処理ステップ、不完全またはアクセス不能なデータセットなど、再現性に対する障壁を体系的に検出する。 これらの結果は、AI駆動のツールが再現性向上の負担を減らし、より透明で検証可能な科学的コミュニケーションに寄与することを示唆している。 モジュラーコピロアーキテクチャはまた、再現性を超えたオープンサイエンスの目的にAI支援を拡張する基盤を提供する。

関連論文リスト

• AI-Driven Automation Can Become the Foundation of Next-Era Science of Science Research [58.944125758758936]
  科学科学(Science of Science, SoS)は、科学的発見の基礎となるメカニズムを探求する。 人工知能(AI)の出現は、次世代のSoSに変革の機会をもたらす。 我々は、従来の手法よりもAIの利点を概説し、潜在的な制限について議論し、それらを克服するための経路を提案する。
  論文  参考訳（メタデータ） (2025-05-17T15:01:33Z)
• A Dataset For Computational Reproducibility [2.147712260420443]
  本稿では、幅広い分野の科学分野をカバーする計算実験のデータセットを紹介する。 ソフトウェア依存関係、実行手順、正確な再現に必要な設定の詳細が組み込まれている。 ツールの有効性を客観的に評価し比較するための標準化データセットを確立することで、普遍的なベンチマークを提供する。
  論文  参考訳（メタデータ） (2025-04-11T16:45:10Z)
• CycleResearcher: Improving Automated Research via Automated Review [37.03497673861402]
  本稿では,オープンソースの後学習型大規模言語モデル(LLM)を,自動研究とレビューの全サイクルを遂行する自律エージェントとして活用する可能性について検討する。 これらのモデルをトレーニングするために、現実の機械学習研究とピアレビューダイナミクスを反映した2つの新しいデータセットを開発した。 その結果,CycleReviewerは平均絶対誤差(MAE)を26.89%削減して有望な性能を達成できた。
  論文  参考訳（メタデータ） (2024-10-28T08:10:21Z)
• O1 Replication Journey: A Strategic Progress Report -- Part 1 [52.062216849476776]
  本稿では,O1 Replication Journeyに具体化された人工知能研究の先駆的アプローチを紹介する。 我々の方法論は、長期化したチームベースのプロジェクトの不規則性を含む、現代のAI研究における重要な課題に対処する。 本稿では,モデルにショートカットだけでなく,完全な探索プロセスの学習を促す旅行学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-08T15:13:01Z)
• Autonomous LLM-driven research from data to human-verifiable research papers [0.0]
  完全なステップワイズプロセスを通じてインタラクションをガイドする自動化プラットフォームを構築しています。 注釈付きデータのみを提供するモードでは、データペーパーは仮説を立て、計画を立て、分析コードを書き、解釈し、結果を生成し、解釈した。 我々は、トレーサビリティ、透明性、妥当性を高めながら、AIによる科学的発見の加速の可能性を示す。
  論文  参考訳（メタデータ） (2024-04-24T23:15:49Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• Data-driven Discovery with Large Generative Models [47.324203863823335]
  このポジションペーパーは、機械学習(ML)コミュニティに、大規模生成モデル(LGM)の能力を活用するよう促す。 我々は、LGMが理想的なデータ駆動探索システムのために、どのようにいくつかのデシラタを満たすかを実証する。 我々は,フィードバック機構によるアクティブなユーザモデレーションとともに,フェールプロテクションツールの統合を提唱する。
  論文  参考訳（メタデータ） (2024-02-21T08:26:43Z)
• MONAI Label: A framework for AI-assisted Interactive Labeling of 3D Medical Images [49.664220687980006]
  注釈付きデータセットの欠如は、タスク固有の教師付き機械学習モデルをトレーニングする上で、大きなボトルネックとなる。 本稿では,人工知能(AI)モデルに基づくアプリケーション開発を支援する,フリーかつオープンソースなフレームワークであるmonAI Labelを紹介する。
  論文  参考訳（メタデータ） (2022-03-23T12:33:11Z)
• Improving Reproducibility in Machine Learning Research (A Report from the NeurIPS 2019 Reproducibility Program) [43.55295847227261]
  再現性は、同じコードとデータ(利用可能であれば)を使用して、論文や講演で示された同様の結果を得る。 2019年、Neural Information Processing Systems(NeurIPS)カンファレンスは、機械学習研究の実施、コミュニケーション、評価に関するコミュニティ全体の標準を改善するために設計されたプログラムを発表した。 本稿では、これらのコンポーネントのそれぞれ、デプロイ方法、このイニシアチブから何を学んだかを説明します。
  論文  参考訳（メタデータ） (2020-03-27T02:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。