論文の概要: Experiments as Code: A Concept for Reproducible, Auditable, Debuggable,
Reusable, & Scalable Experiments
- arxiv url: http://arxiv.org/abs/2202.12050v1
- Date: Thu, 24 Feb 2022 12:15:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 15:11:48.364899
- Title: Experiments as Code: A Concept for Reproducible, Auditable, Debuggable,
Reusable, & Scalable Experiments
- Title(参考訳): コードによる実験:再現性、監査性、デバッグ性、再利用性、スケーラブルな実験の概念
- Authors: Leonel Aguilar, Michal Gath-Morad, Jascha Gr\"ubel, Jasper Ermatinger,
Hantao Zhao, Stefan Wehrli, Robert W. Sumner, Ce Zhang, Dirk Helbing,
Christoph H\"olscher
- Abstract要約: 実験研究における一般的な関心事は、監査可能性と実験である。
実験全体をドキュメント化するだけでなく、自動化コードも提供する"Experiments as Code"パラダイムを提案する。
- 参考スコア(独自算出の注目度): 7.557948558412152
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A common concern in experimental research is the auditability and
reproducibility of experiments. Experiments are usually designed, provisioned,
managed, and analyzed by diverse teams of specialists (e.g., researchers,
technicians and engineers) and may require many resources (e.g. cloud
infrastructure, specialized equipment). Even though researchers strive to
document experiments accurately, this process is often lacking, making it hard
to reproduce them. Moreover, when it is necessary to create a similar
experiment, very often we end up "reinventing the wheel" as it is easier to
start from scratch than trying to reuse existing work, thus losing valuable
embedded best practices and previous experiences. In behavioral studies this
has contributed to the reproducibility crisis. To tackle this challenge, we
propose the "Experiments as Code" paradigm, where the whole experiment is not
only documented but additionally the automation code to provision, deploy,
manage, and analyze it is provided. To this end we define the Experiments as
Code concept, provide a taxonomy for the components of a practical
implementation, and provide a proof of concept with a simple desktop VR
experiment that showcases the benefits of its "as code" representation, i.e.,
reproducibility, auditability, debuggability, reusability, and scalability.
- Abstract(参考訳): 実験研究における一般的な関心事は、実験の監査性と再現性である。
実験は通常、様々な専門家チーム(例えば、研究者、技術者、技術者)によって設計、プロビジョニング、管理、分析され、多くの資源(例えば、クラウドインフラ、専門機器)を必要とする。
研究者は実験を正確に文書化しようと努力しているが、このプロセスはしばしば不足しており、再現が困難である。
さらに、同様の実験を作成する必要がある場合、既存の作業を再利用しようとするよりもスクラッチから始めるのが簡単で、組込みのベストプラクティスや過去の経験を失うため、"車輪を再発明する"ことがしばしばあります。
行動研究において、これは再現可能性危機に寄与した。
この課題に対処するため、我々は"Experiments as Code"パラダイムを提案し、実験全体がドキュメント化されているだけでなく、プロビジョニング、デプロイ、管理、分析を行う自動化コードも提供します。
この目的のために、実験をコードコンセプトとして定義し、実用的な実装のコンポーネントの分類を提供し、その"as code"表現の利点、すなわち再現性、監査性、デバッグ可能性、再利用性、スケーラビリティを示すシンプルなデスクトップvr実験で概念実証を提供する。
関連論文リスト
- MLXP: A framework for conducting replicable Machine Learning eXperiments
in Python [71.22547130430371]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。
実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文 参考訳(メタデータ) (2024-02-21T14:22:20Z) - Content and structure of laboratory packages for software engineering
experiments [1.3584003182788122]
本稿では,実験の再現を成功させるためには,どのような情報が必要なのかを明らかにするために,実験複製プロセスについて検討する。
本研究の目的は,ソフトウェア工学実験のための実験室パッケージの内容と構造を提案することである。
論文 参考訳(メタデータ) (2024-02-11T14:29:15Z) - ExPT: Synthetic Pretraining for Few-Shot Experimental Design [33.5918976228562]
実験事前変換器(Experiment Pretrained Transformers、ExPT)は、数発の実験設計の基礎モデルである。
ExPTは、合成事前学習と文脈内学習を組み合わせた新しい組み合わせを採用している。
挑戦領域における数ショットの実験設計におけるExPTの評価を行った。
論文 参考訳(メタデータ) (2023-10-30T19:25:43Z) - A Backend Platform for Supporting the Reproducibility of Computational
Experiments [2.1485350418225244]
同じフレームワークやコード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。
本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。
これらの実験の20(80%)を再現し,その成果を最小限の努力で得られた。
論文 参考訳(メタデータ) (2023-06-29T10:29:11Z) - GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。
GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。
我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
論文 参考訳(メタデータ) (2023-02-01T17:29:43Z) - PyExperimenter: Easily distribute experiments and track results [63.871474825689134]
PyExperimenterは、アルゴリズムの実験的な研究結果のセットアップ、ドキュメンテーション、実行、およびその後の評価を容易にするツールである。
人工知能の分野で研究者が使用することを意図しているが、それらに限定されていない。
論文 参考訳(メタデータ) (2023-01-16T10:43:02Z) - Benchopt: Reproducible, efficient and collaborative optimization
benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。
Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文 参考訳(メタデータ) (2022-06-27T16:19:24Z) - Crowd Sensing and Living Lab Outdoor Experimentation Made Easy [2.5234156040689237]
この記事では、厳格な屋外実験のためのオープンソースのソフトウェアプラットフォームであるSmart Agoraを紹介します。
1行のコードを書くことなく、非常に複雑な実験シナリオが視覚的に設計され、スマートフォンに自動的にデプロイされます。
論文 参考訳(メタデータ) (2021-07-08T21:49:32Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳(メタデータ) (2020-09-09T15:31:29Z) - dagger: A Python Framework for Reproducible Machine Learning Experiment
Orchestration [0.913755431537592]
機械学習における多段階の実験は、しばしば、複数の実行経路に沿ってモデルに作用する状態変化操作を含む。
再現性と再利用可能な実験オーケストレーションを容易にするフレームワークであるDaggerを提案する。
論文 参考訳(メタデータ) (2020-06-12T21:42:48Z) - Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement
Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。
本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-02-05T10:25:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。