論文の概要: On the Model Update Strategies for Supervised Learning in AIOps Solutions

• arxiv url: http://arxiv.org/abs/2311.03213v2
• Date: Thu, 11 Apr 2024 20:12:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 19:35:34.048844
• Title: On the Model Update Strategies for Supervised Learning in AIOps Solutions
• Title（参考訳）: AIOpsソリューションにおける教師付き学習モデル更新戦略について
• Authors: Yingzhe Lyu, Heng Li, Zhen Ming, Jiang, Ahmed E. Hassan,
• Abstract要約: AIOps(Artificial Intelligence for IT Operations)ソリューションは、大規模システムや機械学習モデルの運用中に生成された大量のデータを活用する。 運用環境やユーザベースの変化などの要因により、現場で生成された運用データが常に進化しているため、AIOpsソリューションのモデルは、デプロイ後に継続的に維持する必要がある。 性能、コスト、安定性に関する教師あり学習のための5種類のモデル更新戦略を実証的に評価した。
• 参考スコア（独自算出の注目度）: 30.177330291396277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AIOps (Artificial Intelligence for IT Operations) solutions leverage the massive data produced during the operation of large-scale systems and machine learning models to assist software engineers in their system operations. As operation data produced in the field are constantly evolving due to factors such as the changing operational environment and user base, the models in AIOps solutions need to be constantly maintained after deployment. While prior works focus on innovative modeling techniques to improve the performance of AIOps models before releasing them into the field, when and how to update AIOps models remain an under-investigated topic. In this work, we performed a case study on three large-scale public operation data and empirically assessed five different types of model update strategies for supervised learning regarding their performance, updating cost, and stability. We observed that active model update strategies (e.g., periodical retraining, concept drift guided retraining, time-based model ensembles, and online learning) achieve better and more stable performance than a stationary model. Particularly, applying sophisticated model update strategies could provide better performance, efficiency, and stability than simply retraining AIOps models periodically. In addition, we observed that, although some update strategies can save model training time, they significantly sacrifice model testing time, which could hinder their applications in AIOps solutions where the operation data arrive at high pace and volume and where immediate inferences are required. Our findings highlight that practitioners should consider the evolution of operation data and actively maintain AIOps models over time. Our observations can also guide researchers and practitioners in investigating more efficient and effective model update strategies that fit in the context of AIOps.
• Abstract（参考訳）: AIOps(Artificial Intelligence for IT Operations)ソリューションは、大規模なシステムや機械学習モデルの運用中に生成された大量のデータを活用して、ソフトウェアエンジニアのシステムオペレーションを支援する。 運用環境やユーザベースの変化などの要因により、現場で生成された運用データが常に進化しているため、AIOpsソリューションのモデルは、デプロイ後に継続的に維持する必要がある。 それまでの作業では、AIOpsモデルのパフォーマンスを改善するための革新的なモデリング技術に重点を置いていたが、いつ、どのようにAIOpsモデルを更新するかは未定のトピックのままである。 本研究では,3つの大規模公開運用データを対象としたケーススタディを行い,その性能,コスト,安定性に関する教師あり学習のための5種類のモデル更新戦略を実証的に評価した。 我々は,アクティブモデル更新戦略(定期的なリトレーニング,コンセプトドリフトガイドによるリトレーニング,時間ベースのモデルアンサンブル,オンライン学習)が,定常モデルよりも優れた,より安定したパフォーマンスを実現することを観察した。 特に、高度なモデル更新戦略を適用することで、AIOpsモデルの定期的な再トレーニングよりも、パフォーマンス、効率、安定性が向上する可能性がある。 さらに、いくつかのアップデート戦略はモデルのトレーニング時間を節約できるが、モデルテスト時間を著しく削減し、運用データが高速でボリュームに到達し、即時推論が必要なAIOpsソリューションでのアプリケーションの障害となる可能性があることを観察した。 我々の知見は、実践者は運用データの進化を考慮し、時間とともにAIOpsモデルを積極的に維持する必要があることを強調している。 私たちの観察は、AIOpsのコンテキストに適合するより効率的で効果的なモデル更新戦略の調査において、研究者や実践者のガイドにもなります。

関連論文リスト

• Structuring a Training Strategy to Robustify Perception Models with Realistic Image Augmentations [1.5723316845301678]
  本報告では, モデルロバスト性, 性能を向上させるため, 強化したトレーニング手法を提案する。 機械学習モデルの弱点を特定し、適切な拡張を選択し、効果的なトレーニング戦略を考案する包括的フレームワークを提案する。 実験結果は,オープンソースオブジェクトの検出とセマンティックセグメンテーションモデルとデータセットに対する平均平均精度(mAP)や平均距離(mIoU)といった一般的な測定値によって測定されるモデル性能の改善を示す。
  論文  参考訳（メタデータ） (2024-08-30T14:15:48Z)
• EsaCL: Efficient Continual Learning of Sparse Models [10.227171407348326]
  連続的な学習設定の主な課題は、以前に学習したタスクを実行する方法を忘れずに、タスクのシーケンスを効率的に学習することである。 本研究では,モデルの予測力に悪影響を及ぼすことなく,冗長なパラメータを自動生成する,スパースモデル(EsaCL)の効率的な連続学習法を提案する。
  論文  参考訳（メタデータ） (2024-01-11T04:59:44Z)
• Temporal Knowledge Distillation for Time-Sensitive Financial Services Applications [7.1795069620810805]
  異常検出は、金融犯罪検出詐欺やサイバーセキュリティなどの主要なコンプライアンスやリスク機能に頻繁に使用される。 最新のデータパターンでモデルを再トレーニングすることで、急激な変更に追いつくことは、過去のパターンと現在のパターンのバランスをとる上でのプレッシャーをもたらす。 提案手法は、モデル性能を改善しながら、再トレーニング時間に利点をもたらす。
  論文  参考訳（メタデータ） (2023-12-28T03:04:30Z)
• Not All Steps are Equal: Efficient Generation with Progressive Diffusion Models [62.155612146799314]
  ステップ適応トレーニングと呼ばれる新しい2段階のトレーニング戦略を提案する。 初期段階では、ベース・デノナイジング・モデルはすべてのタイムステップを包含するように訓練される。 タイムステップを別々のグループに分割し、各グループ内でモデルを微調整して、特殊な認知機能を実現します。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。