論文の概要: Assessing the Maturity of Model Maintenance Techniques for AIOps Solutions

• arxiv url: http://arxiv.org/abs/2311.03213v1
• Date: Mon, 6 Nov 2023 15:57:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 13:46:12.006337
• Title: Assessing the Maturity of Model Maintenance Techniques for AIOps Solutions
• Title（参考訳）: AIOpsソリューションのためのモデルメンテナンス技術の成熟度評価
• Authors: Yingzhe Lyu and Heng Li and Zhen Ming (Jack) Jiang and Ahmed E. Hassan
• Abstract要約: そこで我々は,3つの大規模公共事業データをケーススタディとして,異なるモデル保守手法の評価を行った。 アクティブモデルメンテナンスアプローチは定常的アプローチよりも,より優れた,より安定した性能を実現することが観察された。 我々の知見は、実践者は運用データの進化を考慮し、時間とともにAIOpsモデルを積極的に維持する必要があることを強調している。
• 参考スコア（独自算出の注目度）: 12.760330363091583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AIOps (Artificial Intelligence for IT Operations) solutions leverage the massive data produced during the operations of large-scale systems and machine learning models to assist software engineers in their system operations. As operation data produced in the field are subject to constant evolution from factors like the changing operational environment and user base, the models in AIOps solutions need to be constantly maintained after deployment. While prior works focus on innovative modeling techniques to improve the performance of AIOps models before releasing them into the field, when and how to maintain AIOps models remain an under-investigated topic. In this work, we performed a case study on three large-scale public operation data to assess different model maintenance approaches regarding their performance, maintenance cost, and stability. We observed that active model maintenance approaches achieve better and more stable performance than a stationary approach. Particularly, applying sophisticated model maintenance approaches (e.g., concept drift detection, time-based ensembles, or online learning approaches) could provide better performance, efficiency, and stability than simply retraining AIOps models periodically. In addition, we observed that, although some maintenance approaches (e.g., time-based ensemble and online learning) can save model training time, they significantly sacrifice model testing time, which could hinder their applications in AIOps solutions where the operation data arrive at high speed and volume and where instant predictions are required. Our findings highlight that practitioners should consider the evolution of operation data and actively maintain AIOps models over time. Our observations can also guide researchers and practitioners to investigate more efficient and effective model maintenance techniques that fit in the context of AIOps.
• Abstract（参考訳）: AIOps(Artificial Intelligence for IT Operations)ソリューションは、大規模なシステムや機械学習モデルの運用中に生成された大量のデータを活用して、ソフトウェアエンジニアのシステムオペレーションを支援する。 現場で生成された運用データは、運用環境やユーザベースの変化といった要因から常に進化するので、AIOpsソリューションのモデルは、デプロイ後に継続的に維持する必要がある。 先行研究は、aiopsモデルをフィールドにリリースする前にパフォーマンスを改善するための革新的なモデリング技術にフォーカスしているが、aiopsモデルを維持するための時間と方法については、まだ調査されていないトピックである。 本研究では,3つの大規模公共事業データのケーススタディを行い,その性能,メンテナンスコスト,安定性に関する異なるモデル保守手法の評価を行った。 アクティブモデルメンテナンスアプローチは定常的アプローチよりも,より優れた,より安定した性能を実現する。 特に、高度なモデルメンテナンスアプローチ(コンセプトドリフト検出、時間ベースのアンサンブル、オンライン学習アプローチなど)を適用することで、AIOpsモデルの定期的な再トレーニングよりもパフォーマンス、効率、安定性が向上する。 さらに、いくつかのメンテナンスアプローチ(時間ベースのアンサンブルやオンライン学習など)はモデルのトレーニング時間を節約できるが、モデルテストの時間を著しく犠牲にし、運用データが高速かつボリュームに到達し、即時の予測が必要なaiopsソリューションのアプリケーションを妨げる可能性があることも観察した。 今回の調査結果は、運用データの進化を考慮し、時間とともにaiopsモデルを積極的に維持すべきであることを強調する。 私たちの観察は、AIOpsのコンテキストに適合するより効率的で効果的なモデルメンテナンス技術を調べるために、研究者や実践者の指導にも役立ちます。

関連論文リスト

• Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
  本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。 機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。 実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
  論文  参考訳（メタデータ） (2024-08-30T14:15:48Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Temporal Knowledge Distillation for Time-Sensitive Financial Services Applications [7.1795069620810805]
  異常検出は、金融犯罪検出詐欺やサイバーセキュリティなどの主要なコンプライアンスやリスク機能に頻繁に使用される。 最新のデータパターンでモデルを再トレーニングすることで、急激な変更に追いつくことは、過去のパターンと現在のパターンのバランスをとる上でのプレッシャーをもたらす。 提案手法は、モデル性能を改善しながら、再トレーニング時間に利点をもたらす。
  論文  参考訳（メタデータ） (2023-12-28T03:04:30Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。