論文の概要: On the Variability of AI-based Software Systems Due to Environment Configurations
- arxiv url: http://arxiv.org/abs/2408.02825v1
- Date: Mon, 5 Aug 2024 20:47:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 15:38:41.221364
- Title: On the Variability of AI-based Software Systems Due to Environment Configurations
- Title（参考訳）: 環境構成によるAIベースのソフトウェアシステムの変動性について
- Authors: Musfiqur Rahman, SayedHassan Khatoonabadi, Ahmad Abdellatif, Haya Samaana, Emad Shihab,
- Abstract要約: 環境構成がこれらのシステムの多様性にどのように影響するかはまだ検討されていない。
我々は、30のオープンソースAIベースのシステム上で、3つの主要な環境変数を8つの異なる組み合わせで実験を行った。
以上の結果から,3つの指標すべてに変動性が存在することが示唆された。
- 参考スコア（独自算出の注目度）: 3.3006778394978644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: [Context] Nowadays, many software systems include Artificial Intelligence (AI) components and changes in the development environment have been known to induce variability in an AI-based system. [Objective] However, how an environment configuration impacts the variability of these systems is yet to be explored. Understanding and quantifying the degree of variability due to such configurations can help practitioners decide the best environment configuration for the most stable AI products. [Method] To achieve this goal, we performed experiments with eight different combinations of three key environment variables (operating system, Python version, and CPU architecture) on 30 open-source AI-based systems using the Travis CI platform. We evaluate variability using three metrics: the output of an AI component like an ML model (performance), the time required to build and run a system (processing time), and the cost associated with building and running a system (expense). [Results] Our results indicate that variability exists in all three metrics; however, it is observed more frequently with respect to processing time and expense than performance. For example, between Linux and MacOS, variabilities are observed in 23%, 96.67%, and 100% of the studied projects in performance, processing time, and expense, respectively. [Conclusion] Our findings underscore the importance of identifying the optimal combination of configuration settings to mitigate performance drops and reduce retraining time and cost before deploying an AI-based system.
- Abstract（参考訳）: [コンテキスト]今日では、人工知能(AI)コンポーネントを含む多くのソフトウェアシステムがあり、開発環境の変化によってAIベースのシステムに多様性がもたらされることが知られている。
目的] 環境構成がこれらのシステムの多様性にどのように影響するかはまだ検討されていない。
このような構成による変動度の理解と定量化は、実践者が最も安定したAI製品に対して最適な環境構成を決定するのに役立つ。
この目標を達成するために、Travis CIプラットフォームを使用して、30のオープンソースAIベースのシステム上で、3つの主要な環境変数(運用システム、Pythonバージョン、CPUアーキテクチャ)を8つの異なる組み合わせで実験を行った。
MLモデル(パフォーマンス)のようなAIコンポーネントの出力、システムの構築と実行に必要な時間(処理時間)、システムの構築と実行に関連するコスト(拡張性)の3つの指標を使用して、変動性を評価する。
結果] 結果は,3つの指標すべてに変動性が存在することを示唆するが,処理時間やコストに関しては,性能よりも頻繁に観察される。
例えば、LinuxとMacOSの間では、それぞれパフォーマンス、処理時間、費用において、研究プロジェクトの23%、96.67%、100%の変数が観察されている。
結論]AIベースのシステムをデプロイする前に,性能低下を緩和し,再トレーニング時間とコストを削減するために,設定設定の最適な組み合わせを特定することが重要であることを明らかにする。
関連論文リスト
- Predicting Configuration Performance in Multiple Environments with
Sequential Meta-learning [3.635696352780227]
SeMPLはメタラーニングフレームワークで、異なる(メタ)環境で測定された構成から共通理解を学ぶ。
その結果,SeMPLは89%のシステムにおいて,最大99%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2024-02-05T16:47:13Z) - CAMEO: A Causal Transfer Learning Approach for Performance Optimization
of Configurable Computer Systems [16.75106122540052]
環境変化下での因果予測の不変性を同定する手法であるCAMEOを提案する。
MLperf深層学習システム,ビデオ分析パイプライン,データベースシステムにおいて,最先端の最適化手法に対する大幅な性能向上を示す。
論文 参考訳（メタデータ） (2023-06-13T16:28:37Z) - Quality-Based Conditional Processing in Multi-Biometrics: Application to
Sensor Interoperability [63.05238390013457]
2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。
我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。
その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-24T12:11:22Z) - Evolving Pareto-Optimal Actor-Critic Algorithms for Generalizability and
Stability [67.8426046908398]
汎用性と安定性は,実世界における強化学習(RL)エージェントの運用において重要な2つの目的である。
本稿では,アクター・クリティック・ロス関数の自動設計法であるMetaPGを提案する。
論文 参考訳（メタデータ） (2022-04-08T20:46:16Z) - Unicorn: Reasoning about Configurable System Performance through the
lens of Causality [12.877523121932114]
ソフトウェア-ハードウェアスタック間の構成オプション間の複雑なインタラクションをキャプチャするUnicornと呼ばれる新しい手法を提案する。
実験の結果、Unicornは最先端のパフォーマンス最適化とデバッグメソッドよりも優れていた。
既存の手法とは異なり、学習した因果性能モデルは、新しい環境のパフォーマンスを確実に予測する。
論文 参考訳（メタデータ） (2022-01-20T19:16:50Z) - Lifelong Learning Metrics [63.8376359764052]
DARPA Lifelong Learning Machines (L2M) プログラムは、人工知能(AI)システムの進歩を目指している。
本論文は、生涯学習シナリオを実行するエージェントのパフォーマンスの構築と特徴付けのためのフォーマリズムを概説する。
論文 参考訳（メタデータ） (2022-01-20T16:29:14Z) - An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。
本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
論文 参考訳（メタデータ） (2021-08-09T17:39:09Z) - How to Reach Real-Time AI on Consumer Devices? Solutions for
Programmable and Custom Architectures [7.085772863979686]
ディープニューラルネットワーク(DNN)は、オブジェクトや音声認識など、さまざまな人工知能(AI)推論タスクにおいて大きな進歩をもたらした。
このようなAIモデルをコモディティデバイスにデプロイすることは、大きな課題に直面している。
クロススタック手法によりリアルタイムな性能を実現する手法を提案する。
論文 参考訳（メタデータ） (2021-06-21T11:23:12Z) - Cost-Effective Federated Learning Design [37.16466118235272]
フェデレーション学習(federated learning, fl)は、多数のデバイスが生のデータを共有することなく、協調的にモデルを学習できる分散学習パラダイムである。
その効率性と有効性にもかかわらず、反復的なオンデバイス学習プロセスは、学習時間とエネルギー消費の面でかなりのコストを伴います。
本稿では,本質的制御変数を最適に選択する適応型flの設計法を分析し,総コストを最小化し,収束性を確保した。
論文 参考訳（メタデータ） (2020-12-15T14:45:11Z) - Integrated Benchmarking and Design for Reproducible and Accessible
Evaluation of Robotic Agents [61.36681529571202]
本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。
このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。
本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
論文 参考訳（メタデータ） (2020-09-09T15:31:29Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。