論文の概要: The Impact of Environment Configurations on the Stability of AI-Enabled Systems

• arxiv url: http://arxiv.org/abs/2408.02825v2
• Date: Thu, 17 Apr 2025 14:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:34:51.006449
• Title: The Impact of Environment Configurations on the Stability of AI-Enabled Systems
• Title（参考訳）: AI対応システムの安定性に及ぼす環境構成の影響
• Authors: Musfiqur Rahman, SayedHassan Khatoonabadi, Ahmad Abdellatif, Haya Samaana, Emad Shihab,
• Abstract要約: 運用環境の変化は、AI対応ソフトウェアシステムの安定性に悪影響を及ぼすことが知られている。 3つの主要な環境変数(オペレーティングシステム、Pythonバージョン、CPUアーキテクチャ)を、30ドルのオープンソースAI対応システム上で8つの異なる組み合わせで実験を行った。 以上の結果から,環境構成の変化が3つの指標の不安定性につながることが示唆された。
• 参考スコア（独自算出の注目度）: 3.3006778394978644
• License:
• Abstract: Nowadays, software systems tend to include Artificial Intelligence (AI) components. Changes in the operational environment have been known to negatively impact the stability of AI-enabled software systems by causing unintended changes in behavior. However, how an environment configuration impacts the behavior of such systems has yet to be explored. Understanding and quantifying the degree of instability caused by different environment settings can help practitioners decide the best environment configuration for the most stable AI systems. To achieve this goal, we performed experiments with eight different combinations of three key environment variables (operating system, Python version, and CPU architecture) on $30$ open-source AI-enabled systems using the Travis CI platform. We determine the existence and the degree of instability introduced by each configuration using three metrics: the output of an AI component of the system (model performance), the time required to build and run the system (processing time), and the cost associated with building and running the system (expense). Our results indicate that changes in environment configurations lead to instability across all three metrics; however, it is observed more frequently with respect to processing time and expense rather than model performance. For example, between Linux and MacOS, instability is observed in 23\%, 96.67\%, and 100\% of the studied projects in model performance, processing time, and expense, respectively. Our findings underscore the importance of identifying the optimal combination of configuration settings to mitigate drops in model performance and reduce the processing time and expense before deploying an AI-enabled system.
• Abstract（参考訳）: 今日では、ソフトウェアシステムは人工知能(AI)コンポーネントを含む傾向にある。 運用環境の変化は、意図しない振る舞いの変化を引き起こすことによって、AI対応ソフトウェアシステムの安定性に悪影響を及ぼすことが知られている。 しかし、環境構成がそのようなシステムの挙動にどのように影響するかはまだ解明されていない。 異なる環境設定によって生じる不安定度の理解と定量化は、最も安定したAIシステムにおいて、実践者が最適な環境設定を決定するのに役立つ。 この目標を達成するために、Travis CIプラットフォームを使用して、30ドルのオープンソースAI対応システム上で、3つの主要な環境変数(オペレーティングシステム、Pythonバージョン、CPUアーキテクチャ)を8つの異なる組み合わせで実験を行った。 システム内のAIコンポーネントの出力(モデル性能)、システムの構築と実行に必要な時間(処理時間)、システムの構築と実行に関連するコスト(拡張性)の3つの指標を使用して、各構成によって導入された不安定性の存在と程度を判断する。 以上の結果から,環境構成の変化は3つの指標すべてにおいて不安定性をもたらすことが示唆されるが,モデル性能よりも処理時間やコストに関して,より頻繁に観察される。 例えば、LinuxとMacOSの間では、それぞれモデルパフォーマンス、処理時間、費用において、研究プロジェクトの23\%、96.67\%、100\%で不安定が観察される。 我々の研究は、AI対応システムを展開する前に、モデル性能の低下を緩和し、処理時間とコストを削減するために、設定設定の最適な組み合わせを特定することの重要性を強調した。

関連論文リスト

• A quantitative framework for evaluating architectural patterns in ML systems [49.1574468325115]
  本研究では,MLシステムにおけるアーキテクチャパターンの定量的評価のための枠組みを提案する。 コスト効率のよいCPUベースの推論のためのスケーラビリティとパフォーマンスメトリクスに注目します。
  論文  参考訳（メタデータ） (2025-01-20T15:30:09Z)
• A Multi-AI Agent System for Autonomous Optimization of Agentic AI Solutions via Iterative Refinement and LLM-Driven Feedback Loops [3.729242965449096]
  本稿では,産業間におけるエージェントAIソリューションを自律的に最適化するフレームワークを提案する。 このフレームワークは、仮説を自律的に生成し、テストすることで、人間の入力なしに最適な性能を達成する。 ケーススタディでは、アウトプットの品質、妥当性、動作性が大幅に改善された。
  論文  参考訳（メタデータ） (2024-12-22T20:08:04Z)
• Predicting Configuration Performance in Multiple Environments with Sequential Meta-learning [3.635696352780227]
  SeMPLはメタラーニングフレームワークで、異なる(メタ)環境で測定された構成から共通理解を学ぶ。 その結果,SeMPLは89%のシステムにおいて,最大99%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-02-05T16:47:13Z)
• CAMEO: A Causal Transfer Learning Approach for Performance Optimization of Configurable Computer Systems [16.75106122540052]
  環境変化下での因果予測の不変性を同定する手法であるCAMEOを提案する。 MLperf深層学習システム,ビデオ分析パイプライン,データベースシステムにおいて,最先端の最適化手法に対する大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2023-06-13T16:28:37Z)
• Quality-Based Conditional Processing in Multi-Biometrics: Application to Sensor Interoperability [63.05238390013457]
  2007年のバイオセキュリティ・マルチモーダル・アセスメント・キャンペーンにおいて,ATVS-UAM融合手法を品質ベースで評価し,評価を行った。 我々のアプローチは線形ロジスティック回帰に基づいており、融合したスコアはログライクな比率になる傾向にある。 その結果,提案手法はルールベースの核融合方式よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T12:11:22Z)
• Unicorn: Reasoning about Configurable System Performance through the lens of Causality [12.877523121932114]
  ソフトウェア-ハードウェアスタック間の構成オプション間の複雑なインタラクションをキャプチャするUnicornと呼ばれる新しい手法を提案する。 実験の結果、Unicornは最先端のパフォーマンス最適化とデバッグメソッドよりも優れていた。 既存の手法とは異なり、学習した因果性能モデルは、新しい環境のパフォーマンスを確実に予測する。
  論文  参考訳（メタデータ） (2022-01-20T19:16:50Z)
• Lifelong Learning Metrics [63.8376359764052]
  DARPA Lifelong Learning Machines (L2M) プログラムは、人工知能(AI)システムの進歩を目指している。 本論文は、生涯学習シナリオを実行するエージェントのパフォーマンスの構築と特徴付けのためのフォーマリズムを概説する。
  論文  参考訳（メタデータ） (2022-01-20T16:29:14Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• Cost-Effective Federated Learning Design [37.16466118235272]
  フェデレーション学習(federated learning, fl)は、多数のデバイスが生のデータを共有することなく、協調的にモデルを学習できる分散学習パラダイムである。 その効率性と有効性にもかかわらず、反復的なオンデバイス学習プロセスは、学習時間とエネルギー消費の面でかなりのコストを伴います。 本稿では,本質的制御変数を最適に選択する適応型flの設計法を分析し,総コストを最小化し,収束性を確保した。
  論文  参考訳（メタデータ） (2020-12-15T14:45:11Z)
• Integrated Benchmarking and Design for Reproducible and Accessible Evaluation of Robotic Agents [61.36681529571202]
  本稿では,開発とベンチマークを統合した再現性ロボット研究の新しい概念について述べる。 このセットアップの中心的なコンポーネントの1つはDuckietown Autolabであり、これは比較的低コストで再現可能な標準化されたセットアップである。 本研究では,インフラを用いて実施した実験の再現性を解析し,ロボットのハードウェアや遠隔実験室間でのばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2020-09-09T15:31:29Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。