Fugu-MT 論文翻訳(概要): Experiments as Code: A Concept for Reproducible, Auditable, Debuggable, Reusable, & Scalable Experiments

論文の概要: Experiments as Code: A Concept for Reproducible, Auditable, Debuggable, Reusable, & Scalable Experiments

arxiv url: http://arxiv.org/abs/2202.12050v1
Date: Thu, 24 Feb 2022 12:15:00 GMT
ステータス: 処理完了
システム内更新日: 2023-02-19 15:11:48.364899
Title: Experiments as Code: A Concept for Reproducible, Auditable, Debuggable, Reusable, & Scalable Experiments
Title（参考訳）: コードによる実験:再現性、監査性、デバッグ性、再利用性、スケーラブルな実験の概念
Authors: Leonel Aguilar, Michal Gath-Morad, Jascha Gr\"ubel, Jasper Ermatinger, Hantao Zhao, Stefan Wehrli, Robert W. Sumner, Ce Zhang, Dirk Helbing, Christoph H\"olscher
Abstract要約: 実験研究における一般的な関心事は、監査可能性と実験である。実験全体をドキュメント化するだけでなく、自動化コードも提供する"Experiments as Code"パラダイムを提案する。
参考スコア（独自算出の注目度）: 7.557948558412152
License: http://creativecommons.org/licenses/by/4.0/
Abstract: A common concern in experimental research is the auditability and reproducibility of experiments. Experiments are usually designed, provisioned, managed, and analyzed by diverse teams of specialists (e.g., researchers, technicians and engineers) and may require many resources (e.g. cloud infrastructure, specialized equipment). Even though researchers strive to document experiments accurately, this process is often lacking, making it hard to reproduce them. Moreover, when it is necessary to create a similar experiment, very often we end up "reinventing the wheel" as it is easier to start from scratch than trying to reuse existing work, thus losing valuable embedded best practices and previous experiences. In behavioral studies this has contributed to the reproducibility crisis. To tackle this challenge, we propose the "Experiments as Code" paradigm, where the whole experiment is not only documented but additionally the automation code to provision, deploy, manage, and analyze it is provided. To this end we define the Experiments as Code concept, provide a taxonomy for the components of a practical implementation, and provide a proof of concept with a simple desktop VR experiment that showcases the benefits of its "as code" representation, i.e., reproducibility, auditability, debuggability, reusability, and scalability.
Abstract（参考訳）: 実験研究における一般的な関心事は、実験の監査性と再現性である。実験は通常、様々な専門家チーム(例えば、研究者、技術者、技術者)によって設計、プロビジョニング、管理、分析され、多くの資源(例えば、クラウドインフラ、専門機器)を必要とする。研究者は実験を正確に文書化しようと努力しているが、このプロセスはしばしば不足しており、再現が困難である。さらに、同様の実験を作成する必要がある場合、既存の作業を再利用しようとするよりもスクラッチから始めるのが簡単で、組込みのベストプラクティスや過去の経験を失うため、"車輪を再発明する"ことがしばしばあります。行動研究において、これは再現可能性危機に寄与した。この課題に対処するため、我々は"Experiments as Code"パラダイムを提案し、実験全体がドキュメント化されているだけでなく、プロビジョニング、デプロイ、管理、分析を行う自動化コードも提供します。この目的のために、実験をコードコンセプトとして定義し、実用的な実装のコンポーネントの分類を提供し、その"as code"表現の利点、すなわち再現性、監査性、デバッグ可能性、再利用性、スケーラビリティを示すシンプルなデスクトップvr実験で概念実証を提供する。

関連論文リスト

AExGym: Benchmarks and Environments for Adaptive Experimentation [7.948144726705323]
実世界のデータセットに基づく適応実験のためのベンチマークを提案する。非定常性、バッチ/遅延フィードバック、複数の成果と目標、外部の妥当性。
論文参考訳（メタデータ） (2024-08-08T15:32:12Z)
Adaptive Experimentation When You Can't Experiment [55.86593195947978]
本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
論文参考訳（メタデータ） (2024-06-15T20:54:48Z)
DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
論文参考訳（メタデータ） (2024-06-10T20:08:44Z)
MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文参考訳（メタデータ） (2024-02-21T14:22:20Z)
Content and structure of laboratory packages for software engineering experiments [1.3584003182788122]
本稿では,実験の再現を成功させるためには,どのような情報が必要なのかを明らかにするために,実験複製プロセスについて検討する。本研究の目的は,ソフトウェア工学実験のための実験室パッケージの内容と構造を提案することである。
論文参考訳（メタデータ） (2024-02-11T14:29:15Z)
ExPT: Synthetic Pretraining for Few-Shot Experimental Design [33.5918976228562]
実験事前変換器(Experiment Pretrained Transformers、ExPT)は、数発の実験設計の基礎モデルである。 ExPTは、合成事前学習と文脈内学習を組み合わせた新しい組み合わせを採用している。挑戦領域における数ショットの実験設計におけるExPTの評価を行った。
論文参考訳（メタデータ） (2023-10-30T19:25:43Z)
A Backend Platform for Supporting the Reproducibility of Computational Experiments [2.1485350418225244]
同じフレームワークやコード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。これらの実験の20(80%)を再現し,その成果を最小限の努力で得られた。
論文参考訳（メタデータ） (2023-06-29T10:29:11Z)
GFlowNets for AI-Driven Scientific Discovery [74.27219800878304]
我々はGFlowNetsと呼ばれる新しい確率論的機械学習フレームワークを提案する。 GFlowNetsは、実験科学ループのモデリング、仮説生成、実験的な設計段階に適用できる。我々は、GFlowNetsがAIによる科学的発見の貴重なツールになり得ると論じている。
論文参考訳（メタデータ） (2023-02-01T17:29:43Z)
Benchopt: Reproducible, efficient and collaborative optimization benchmarks [67.29240500171532]
Benchoptは、機械学習で最適化ベンチマークを自動化、再生、公開するためのフレームワークである。 Benchoptは実験を実行、共有、拡張するための既製のツールを提供することで、コミュニティのベンチマークを簡単にする。
論文参考訳（メタデータ） (2022-06-27T16:19:24Z)
dagger: A Python Framework for Reproducible Machine Learning Experiment Orchestration [0.913755431537592]
機械学習における多段階の実験は、しばしば、複数の実行経路に沿ってモデルに作用する状態変化操作を含む。再現性と再利用可能な実験オーケストレーションを容易にするフレームワークであるDaggerを提案する。
論文参考訳（メタデータ） (2020-06-12T21:42:48Z)
Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
論文参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。