論文の概要: A Backend Platform for Supporting the Reproducibility of Computational Experiments

• arxiv url: http://arxiv.org/abs/2308.00703v1
• Date: Thu, 29 Jun 2023 10:29:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 15:44:24.894085
• Title: A Backend Platform for Supporting the Reproducibility of Computational Experiments
• Title（参考訳）: 計算実験の再現性支援のためのバックエンドプラットフォーム
• Authors: L\'azaro Costa and Susana Barbosa and J\'acome Cunha
• Abstract要約: 同じフレームワークやコード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。 本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。 これらの実験の20(80%)を再現し,その成果を最小限の努力で得られた。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the research community has raised serious questions about the reproducibility of scientific work. In particular, since many studies include some kind of computing work, reproducibility is also a technological challenge, not only in computer science, but in most research domains. Replicability and computational reproducibility are not easy to achieve, not only because researchers have diverse proficiency in computing technologies, but also because of the variety of computational environments that can be used. Indeed, it is challenging to recreate the same environment using the same frameworks, code, data sources, programming languages, dependencies, and so on. In this work, we propose an Integrated Development Environment allowing the share, configuration, packaging and execution of an experiment by setting the code and data used and defining the programming languages, code, dependencies, databases, or commands to execute to achieve consistent results for each experiment. After the initial creation and configuration, the experiment can be executed any number of times, always producing exactly the same results. Furthermore, it allows the execution of the experiment by using a different associated dataset, and it can be possible to verify the reproducibility and replicability of the results. This allows the creation of a reproducible pack that can be re-executed by anyone on any other computer. Our platform aims to allow researchers in any field to create a reproducibility package for their science that can be re-executed on any other computer. To evaluate our platform, we used it to reproduce 25 experiments extracted from published papers. We have been able to successfully reproduce 20 (80%) of these experiments achieving the results reported in such works with minimum effort, thus showing that our approach is effective.
• Abstract（参考訳）: 近年、研究コミュニティは科学的研究の再現性に関する深刻な疑問を提起している。 特に、多くの研究には何らかの計算作業が含まれているため、再現性はコンピュータ科学だけでなく、ほとんどの研究領域においても技術的課題である。 再現性と計算再現性は、研究者がコンピュータ技術に様々な習熟度を持っているだけでなく、様々な計算環境が利用できるため、容易には達成できない。 実際、同じフレームワーク、コード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。 本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。使用するコードとデータを設定し,プログラム言語,コード,依存関係,データベース,コマンドを定義することにより,実験毎に一貫した結果を得る。 最初の生成と設定の後、実験は何回でも実行でき、常に同じ結果を生成する。 さらに、異なる関連するデータセットを使用して実験の実行を可能にし、結果の再現性と複製性を検証することができる。 これにより再現可能なパックを作成でき、他のコンピュータで再実行することができる。 我々のプラットフォームは、あらゆる分野の研究者が、他のコンピュータで再現可能なパッケージを作れるようにすることを目的としています。 プラットフォームを評価するために,論文から抽出した25の実験を再現した。 これらの実験の20(80%)を、最小限の努力で報告した結果を再現できたので、我々のアプローチが効果的であることを示しました。

関連論文リスト

• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
  MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。 実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
  論文  参考訳（メタデータ） (2024-02-21T14:22:20Z)
• Content and structure of laboratory packages for software engineering experiments [1.3584003182788122]
  本稿では,実験の再現を成功させるためには,どのような情報が必要なのかを明らかにするために,実験複製プロセスについて検討する。 本研究の目的は,ソフトウェア工学実験のための実験室パッケージの内容と構造を提案することである。
  論文  参考訳（メタデータ） (2024-02-11T14:29:15Z)
• GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
  我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。 GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。 我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
  論文  参考訳（メタデータ） (2023-02-01T17:29:43Z)
• PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
  PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。 人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
  論文  参考訳（メタデータ） (2023-01-16T10:43:02Z)
• SIERRA: A Modular Framework for Research Automation and Reproducibility [6.1678491628787455]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、独立変数上のクエリから実行可能な実験を生成するプロセスを自動化することで研究を加速する。 個々の研究者のニーズに応じてカスタマイズと拡張が容易なモジュラーアーキテクチャを採用している。
  論文  参考訳（メタデータ） (2022-08-16T15:36:34Z)
• Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
  Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
  論文  参考訳（メタデータ） (2022-06-27T16:19:24Z)
• SIERRA: A Modular Framework for Research Automation [5.220940151628734]
  本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。 SIERRAは、実験用の独立変数を素早く指定し、実験的な入力を生成し、実験を自動的に実行し、結果を処理してグラフやビデオなどの成果物を生成する。 個々の研究者のニーズに対して、簡単にカスタマイズと自動化の拡張を可能にする、深くモジュール化されたアプローチを採用している。
  論文  参考訳（メタデータ） (2022-03-03T23:45:46Z)
• Experiments as Code: A Concept for Reproducible, Auditable, Debuggable, Reusable, & Scalable Experiments [7.557948558412152]
  実験研究における一般的な関心事は、監査可能性と実験である。 実験全体をドキュメント化するだけでなく、自動化コードも提供する"Experiments as Code"パラダイムを提案する。
  論文  参考訳（メタデータ） (2022-02-24T12:15:00Z)
• Integrated Benchmarking and Design for Reproducible and Accessible Evaluation of Robotic Agents [61.36681529571202]
  本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。 このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。 本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2020-09-09T15:31:29Z)
• A user-centered approach to designing an experimental laboratory data platform [0.0]
  実験的なデータプラットフォームにおいて、設計と機能の本質的な要素が何を求めているのかを理解するために、ユーザ中心のアプローチを採用しています。 リッチで複雑な実験データセットをコンテキスト化できる能力を持つことが、ユーザの主な要件であることに気付きました。
  論文  参考訳（メタデータ） (2020-07-28T19:26:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。