論文の概要: A Framework for Supporting the Reproducibility of Computational Experiments in Multiple Scientific Domains

• arxiv url: http://arxiv.org/abs/2503.07080v1
• Date: Mon, 10 Mar 2025 09:02:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:51:10.201222
• Title: A Framework for Supporting the Reproducibility of Computational Experiments in Multiple Scientific Domains
• Title（参考訳）: 複数分野における計算実験の再現性向上のための枠組み
• Authors: Lázaro Costa, Susana Barbose, Jácome Cunha,
• Abstract要約: 近年、研究コミュニティや一般大衆は、科学的研究の再現性について深刻な疑問を提起している。 本稿では,計算実験の構成,実行,パッケージングをサポートするSciRepというフレームワークを提案する。 我々のアプローチは、あらゆるコンピュータで再実行可能な、複数の科学分野から実験用のパッケージを作成することを可能にする。
• 参考スコア（独自算出の注目度）: 0.23603377248944016
• License:
• Abstract: In recent years, the research community, but also the general public, has raised serious questions about the reproducibility and replicability of scientific work. Since many studies include some kind of computational work, these issues are also a technological challenge, not only in computer science, but also in most research domains. Computational replicability and reproducibility are not easy to achieve due to the variety of computational environments that can be used. Indeed, it is challenging to recreate the same environment via the same frameworks, code, programming languages, dependencies, and so on. We propose a framework, known as SciRep, that supports the configuration, execution, and packaging of computational experiments by defining their code, data, programming languages, dependencies, databases, and commands to be executed. After the initial configuration, the experiments can be executed any number of times, always producing exactly the same results. Our approach allows the creation of a reproducibility package for experiments from multiple scientific fields, from medicine to computer science, which can be re-executed on any computer. The produced package acts as a capsule, holding absolutely everything necessary to re-execute the experiment. To evaluate our framework, we compare it with three state-of-the-art tools and use it to reproduce 18 experiments extracted from published scientific articles. With our approach, we were able to execute 16 (89%) of those experiments, while the others reached only 61%, thus showing that our approach is effective. Moreover, all the experiments that were executed produced the results presented in the original publication. Thus, SciRep was able to reproduce 100% of the experiments it could run.
• Abstract（参考訳）: 近年、研究コミュニティや一般大衆は、科学的研究の再現性と複製性について深刻な疑問を提起している。 多くの研究にはある種の計算処理が含まれているため、これらの問題はコンピュータ科学だけでなく、ほとんどの研究領域においても技術的な課題でもある。 計算の再現性と再現性は、様々な計算環境が使えるため、容易には達成できない。 実際、同じフレームワーク、コード、プログラミング言語、依存関係などを通じて同じ環境を再現することは困難です。 我々はSciRepと呼ばれるフレームワークを提案し、そのコード、データ、プログラミング言語、依存関係、データベース、実行すべきコマンドを定義し、計算実験の構成、実行、パッケージングをサポートする。 最初の設定後、実験を何回でも実行でき、常に全く同じ結果を生成する。 我々のアプローチは、医学からコンピュータ科学まで、さまざまな科学分野の実験のための再現性パッケージの作成を可能にし、あらゆるコンピュータで再実行することができる。 生成したパッケージはカプセルとして機能し、実験の再実行に必要なすべてを保持する。 本フレームワークを3つの最先端ツールと比較し,論文から抽出した18の実験を再現する。 提案手法では,16(89%)の試験を実施できたが,他の実験は61%に過ぎなかった。 さらに、実行された実験はすべて、オリジナルの出版物に提示された結果を生み出した。 そのため、SciRepは実行可能な実験の100%を再現することができた。

関連論文リスト

• Many Heads Are Better Than One: Improved Scientific Idea Generation by A LLM-Based Multi-Agent System [62.832818186789545]
  Virtual Scientists (VirSci) は、科学研究に固有のチームワークを模倣するために設計されたマルチエージェントシステムである。 VirSciは研究のアイデアを共同で生成し、評価し、洗練するエージェントのチームを組織している。 このマルチエージェントアプローチは、新しい科学的アイデアを生み出す上で、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:16:22Z)
• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• Content and structure of laboratory packages for software engineering experiments [1.3584003182788122]
  本稿では,実験の再現を成功させるためには,どのような情報が必要なのかを明らかにするために,実験複製プロセスについて検討する。 本研究の目的は,ソフトウェア工学実験のための実験室パッケージの内容と構造を提案することである。
  論文  参考訳（メタデータ） (2024-02-11T14:29:15Z)
• A Backend Platform for Supporting the Reproducibility of Computational Experiments [2.1485350418225244]
  同じフレームワークやコード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。 本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。 これらの実験の20(80%)を再現し,その成果を最小限の努力で得られた。
  論文  参考訳（メタデータ） (2023-06-29T10:29:11Z)
• GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
  我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。 GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。 我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
  論文  参考訳（メタデータ） (2023-02-01T17:29:43Z)
• PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
  PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。 人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
  論文  参考訳（メタデータ） (2023-01-16T10:43:02Z)
• Caching and Reproducibility: Making Data Science experiments faster and FAIRer [25.91002326340444]
  小規模から中規模のデータサイエンス実験は、個々の科学者や小さなチームによってアドホックに開発された研究ソフトウェアに依存していることが多い。 コードの最初の行が書かれる前にも、キャッシュを研究ソフトウェア開発プロセスの不可欠な部分にすることを提案します。
  論文  参考訳（メタデータ） (2022-11-08T07:11:02Z)
• SIERRA: A Modular Framework for Research Automation and Reproducibility [6.1678491628787455]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、独立変数上のクエリから実行可能な実験を生成するプロセスを自動化することで研究を加速する。 個々の研究者のニーズに応じてカスタマイズと拡張が容易なモジュラーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2022-08-16T15:36:34Z)
• Experiments as Code: A Concept for Reproducible, Auditable, Debuggable, Reusable, & Scalable Experiments [7.557948558412152]
  実験研究における一般的な関心事は、監査可能性と実験である。 実験全体をドキュメント化するだけでなく、自動化コードも提供する"Experiments as Code"パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T12:15:00Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。