論文の概要: Continuous Management of Machine Learning-Based Application Behavior
- arxiv url: http://arxiv.org/abs/2311.12686v3
- Date: Sat, 26 Oct 2024 18:44:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:18:48.028855
- Title: Continuous Management of Machine Learning-Based Application Behavior
- Title（参考訳）: 機械学習に基づくアプリケーション行動の継続的管理
- Authors: Marco Anisetti, Claudio A. Ardagna, Nicola Bena, Ernesto Damiani, Paolo G. Panero,
- Abstract要約: 機械学習モデルの非機能特性は、監視、検証、維持されなければならない。
MLベースのアプリケーションの安定な非機能動作を保証することを目的としたマルチモデルアプローチを提案する。
非機能的プロパティフェアネスに着目した実世界のシナリオで,我々のソリューションを実験的に評価した。
- 参考スコア（独自算出の注目度）: 3.316045828362788
- License:
- Abstract: Modern applications are increasingly driven by Machine Learning (ML) models whose non-deterministic behavior is affecting the entire application life cycle from design to operation. The pervasive adoption of ML is urgently calling for approaches that guarantee a stable non-functional behavior of ML-based applications over time and across model changes. To this aim, non-functional properties of ML models, such as privacy, confidentiality, fairness, and explainability, must be monitored, verified, and maintained. Existing approaches mostly focus on i) implementing solutions for classifier selection according to the functional behavior of ML models, ii) finding new algorithmic solutions, such as continuous re-training. In this paper, we propose a multi-model approach that aims to guarantee a stable non-functional behavior of ML-based applications. An architectural and methodological approach is provided to compare multiple ML models showing similar non-functional properties and select the model supporting stable non-functional behavior over time according to (dynamic and unpredictable) contextual changes. Our approach goes beyond the state of the art by providing a solution that continuously guarantees a stable non-functional behavior of ML-based applications, is ML algorithm-agnostic, and is driven by non-functional properties assessed on the ML models themselves. It consists of a two-step process working during application operation, where model assessment verifies non-functional properties of ML models trained and selected at development time, and model substitution guarantees continuous and stable support of non-functional properties. We experimentally evaluate our solution in a real-world scenario focusing on non-functional property fairness.
- Abstract（参考訳）: 現代のアプリケーションは、設計から運用までのアプリケーションライフサイクル全体に影響を与える非決定的な振る舞いを持つ機械学習(ML)モデルによって、ますます推進されています。
MLの広範な採用は、MLベースのアプリケーションの時間的およびモデル変更間の安定した非機能的動作を保証するアプローチを緊急に求めている。
この目的のために、プライバシ、機密性、公正性、説明可能性などのMLモデルの非機能特性を監視、検証、維持する必要がある。
既存のアプローチは主に焦点をあてる
一 MLモデルの機能的振舞いに応じて分類器選択のソリューションを実装すること。
二 連続的再訓練のような新しいアルゴリズムの解を見つけること。
本稿では,MLベースのアプリケーションの安定な非機能動作を保証するためのマルチモデルアプローチを提案する。
同様の非機能特性を示す複数のMLモデルを比較し、(動的かつ予測不可能な)文脈変化に応じて、時間とともに安定した非機能挙動をサポートするモデルを選択するためのアーキテクチャ的および方法論的アプローチが提供される。
我々のアプローチは、MLベースのアプリケーションの安定した非機能的動作を継続的に保証し、MLアルゴリズムに依存しず、MLモデル自身で評価された非機能的特性によって駆動されるソリューションを提供することによって、最先端以上のものを提供します。
モデル評価は、開発時に訓練され、選択されたMLモデルの非機能特性を検証し、モデル置換は、非機能特性の連続的かつ安定したサポートを保証する。
非機能的プロパティフェアネスに着目した実世界のシナリオで,我々のソリューションを実験的に評価した。
関連論文リスト
- Self-Healing Machine Learning: A Framework for Autonomous Adaptation in Real-World Environments [50.310636905746975]
実世界の機械学習システムは、基礎となるデータ生成プロセスの分散シフトによって、モデルの性能劣化に遭遇することが多い。
概念のドリフト適応のような既存のシフトへのアプローチは、その理性に依存しない性質によって制限される。
我々はこれらの制限を克服するために自己修復機械学習(SHML)を提案する。
論文 参考訳（メタデータ） (2024-10-31T20:05:51Z) - Using Quality Attribute Scenarios for ML Model Test Case Generation [3.9111051646728527]
機械学習(ML)モデルテストの現在のプラクティスは、モデルパフォーマンスのテストの優先順位付けである。
本稿では,品質属性(QA)のシナリオに基づいて,システムおよびモデル関連テストケースを抽出,定義する手法を提案する。
QAベースのアプローチはMLモデルテストと評価をサポートするプロセスとツールであるMLTEに統合されている。
論文 参考訳（メタデータ） (2024-06-12T18:26:42Z) - Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。
いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。
言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
論文 参考訳（メタデータ） (2024-05-17T17:49:44Z) - Towards Self-Adaptive Machine Learning-Enabled Systems Through QoS-Aware
Model Switching [1.2277343096128712]
本稿では,機械学習モデルバランサの概念を提案し,複数のモデルを用いてMLモデルに関連する不確実性を管理する。
AdaMLSは、この概念を活用し、従来のMAPE-Kループを拡張した新しい自己適応手法である。
予備的な結果は、AdaMLSが保証において、単純で単一の最先端モデルを上回ることを示唆している。
論文 参考訳（メタデータ） (2023-08-19T09:33:51Z) - Stability Guarantees for Feature Attributions with Multiplicative
Smoothing [11.675168649032875]
我々は安定性を信頼性のある特徴帰属法の特性として分析する。
このようなモデルを実現するために,Multiplelicative Smoothing (MuS) と呼ばれる平滑化手法を開発した。
LIME や SHAP などの様々な特徴属性法による視覚モデルや言語モデル上で MuS を評価するとともに, MuS が非自明な安定性を保証する特徴属性を付与することを示す。
論文 参考訳（メタデータ） (2023-07-12T04:19:47Z) - Leaving the Nest: Going Beyond Local Loss Functions for
Predict-Then-Optimize [57.22851616806617]
本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。
提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
論文 参考訳（メタデータ） (2023-05-26T11:17:45Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳（メタデータ） (2022-02-27T19:07:12Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳（メタデータ） (2022-02-17T07:56:46Z) - Model-Invariant State Abstractions for Model-Based Reinforcement
Learning [54.616645151708994]
textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。
これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。
このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
論文 参考訳（メタデータ） (2021-02-19T10:37:54Z) - Insights into Performance Fitness and Error Metrics for Machine Learning [1.827510863075184]
機械学習(ML)は、高いレベルの認知を達成し、人間のような分析を行うための訓練機械の分野である。
本稿では、回帰アルゴリズムや分類アルゴリズムにおいて、最もよく使われている性能適合度と誤差の測定値について検討する。
論文 参考訳（メタデータ） (2020-05-17T22:59:04Z) - Model-Augmented Actor-Critic: Backpropagating through Paths [81.86992776864729]
現在のモデルに基づく強化学習アプローチでは、単に学習されたブラックボックスシミュレータとしてモデルを使用する。
その微分可能性を利用してモデルをより効果的に活用する方法を示す。
論文 参考訳（メタデータ） (2020-05-16T19:18:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。