論文の概要: SIERRA: A Modular Framework for Research Automation and Reproducibility
- arxiv url: http://arxiv.org/abs/2208.07805v1
- Date: Tue, 16 Aug 2022 15:36:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-17 12:23:56.329506
- Title: SIERRA: A Modular Framework for Research Automation and Reproducibility
- Title（参考訳）: SIERRA: 研究自動化と再現性のためのモジュールフレームワーク
- Authors: John Harwell, Maria Gini
- Abstract要約: 本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。
SIERRAは、独立変数上のクエリから実行可能な実験を生成するプロセスを自動化することで研究を加速する。
個々の研究者のニーズに応じてカスタマイズと拡張が容易なモジュラーアーキテクチャを採用している。
- 参考スコア（独自算出の注目度）: 6.1678491628787455
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Modern intelligent systems researchers form hypotheses about system behavior
and then run experiments using one or more independent variables to test their
hypotheses. We present SIERRA, a novel framework structured around that idea
for accelerating research development and improving reproducibility of results.
SIERRA accelerates research by automating the process of generating executable
experiments from queries over independent variables(s), executing experiments,
and processing the results to generate deliverables such as graphs and videos.
It shifts the paradigm for testing hypotheses from procedural ("Do these steps
to answer the query") to declarative ("Here is the query to test--GO!"),
reducing the burden on researchers. It employs a modular architecture enabling
easy customization and extension for the needs of individual researchers,
thereby eliminating manual configuration and processing via throw-away scripts.
SIERRA improves reproducibility of research by providing automation independent
of the execution environment (HPC hardware, real robots, etc.) and targeted
platform (arbitrary simulator or real robots). This enables exact experiment
replication, up to the limit of the execution environment and platform, as well
as making it easy for researchers to test hypotheses in different computational
environments.
- Abstract（参考訳）: 現代の知的システム研究者は、システムの振る舞いに関する仮説を作り、1つ以上の独立した変数を使って実験を行い、仮説をテストする。
本稿では,研究の加速と成果の再現性向上のための新しい枠組みであるSIERRAを紹介する。
SIERRAは、独立変数上のクエリから実行可能な実験を自動生成し、実験を実行し、結果を処理してグラフやビデオなどの成果物を生成することによって研究を加速する。
仮説をテストするためのパラダイムをプロシーデュラル(“クエリに答えるためのこれらのステップ”)から宣言型(“ここではテスト--go!”)にシフトさせ、研究者の負担を軽減する。
個々の研究者のニーズに対するカスタマイズと拡張が容易なモジュールアーキテクチャを採用しており、手動による構成や処理を不要にしている。
SIERRAは、実行環境(HPCハードウェア、実ロボットなど)とターゲットプラットフォーム(軌道シミュレータ、実ロボットなど)とは無関係に自動化を提供することで、研究の再現性を向上させる。
これにより、実行環境とプラットフォームに制限のある正確な実験のレプリケーションが可能になり、研究者が異なる計算環境で仮説を簡単にテストできるようになる。
関連論文リスト
- MLR-Copilot: Autonomous Machine Learning Research based on Large Language Models Agents [10.86017322488788]
大規模言語モデルを用いた自律型機械学習研究(MLR-Copilot)を提案する。
大規模言語モデル(LLM)エージェントを用いた研究アイデアの自動生成と実装を通じて、機械学習研究の生産性を向上させるように設計されている。
我々は,5つの機械学習研究課題に関するフレームワークを評価し,研究の進展とイノベーションを促進するためのフレームワークの可能性を示す実験結果を示した。
論文 参考訳（メタデータ） (2024-08-26T05:55:48Z) - Automatic benchmarking of large multimodal models via iterative experiment programming [71.78089106671581]
本稿では,LMMの自動ベンチマークのための最初のフレームワークであるAPExを紹介する。
自然言語で表現された研究の質問に対して、APExは大きな言語モデル(LLM)と事前定義されたツールのライブラリを活用して、手元にあるモデルの一連の実験を生成する。
調査の現在の状況に基づいて、APExはどの実験を行うか、結果が結論を引き出すのに十分かどうかを選択する。
論文 参考訳（メタデータ） (2024-06-18T06:43:46Z) - System for systematic literature review using multiple AI agents:
Concept and an empirical evaluation [5.194208843843004]
本稿では,システム文献レビューの実施プロセスの完全自動化を目的とした,新しいマルチAIエージェントモデルを提案する。
このモデルは、研究者がトピックを入力するユーザフレンドリーなインターフェースを介して動作する。
関連する学術論文を検索するために使用される検索文字列を生成する。
モデルはこれらの論文の要約を自律的に要約する。
論文 参考訳（メタデータ） (2024-03-13T10:27:52Z) - MLXP: A Framework for Conducting Replicable Experiments in Python [63.37350735954699]
MLXPはPythonをベースとした,オープンソースの,シンプルで,軽量な実験管理ツールである。
実験プロセスを最小限のオーバーヘッドで合理化し、高いレベルの実践的オーバーヘッドを確保します。
論文 参考訳（メタデータ） (2024-02-21T14:22:20Z) - A Backend Platform for Supporting the Reproducibility of Computational
Experiments [2.1485350418225244]
同じフレームワークやコード、データソース、プログラミング言語、依存関係などを使って、同じ環境を再現することは困難です。
本研究では,実験の共有,構成,パッケージング,実行を可能にする統合開発環境を提案する。
これらの実験の20(80%)を再現し,その成果を最小限の努力で得られた。
論文 参考訳（メタデータ） (2023-06-29T10:29:11Z) - SIERRA: A Modular Framework for Research Automation [5.220940151628734]
本稿では,研究の加速と成果向上のための新しいフレームワークであるSIERRAを紹介する。
SIERRAは、実験用の独立変数を素早く指定し、実験的な入力を生成し、実験を自動的に実行し、結果を処理してグラフやビデオなどの成果物を生成する。
個々の研究者のニーズに対して、簡単にカスタマイズと自動化の拡張を可能にする、深くモジュール化されたアプローチを採用している。
論文 参考訳（メタデータ） (2022-03-03T23:45:46Z) - A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。
我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。
我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
論文 参考訳（メタデータ） (2020-11-17T22:24:26Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2020-11-10T19:31:29Z) - Rearrangement: A Challenge for Embodied AI [229.8891614821016]
Embodied AIの研究と評価のためのフレームワークについて述べる。
我々の提案は正統的な課題である再配置に基づいている。
4つの異なるシミュレーション環境における再配置シナリオの実験的なテストベッドについて述べる。
論文 参考訳（メタデータ） (2020-11-03T19:42:32Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳（メタデータ） (2020-09-09T15:31:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。