論文の概要: Can We Recycle Our Old Models? An Empirical Evaluation of Model Selection Mechanisms for AIOps Solutions

• arxiv url: http://arxiv.org/abs/2505.02961v1
• Date: Mon, 05 May 2025 18:47:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.101557
• Title: Can We Recycle Our Old Models? An Empirical Evaluation of Model Selection Mechanisms for AIOps Solutions
• Title（参考訳）: 古いモデルをリサイクルできるか? AIOpsソリューションにおけるモデル選択メカニズムの実証評価
• Authors: Yingzhe Lyu, Hao Li, Heng Li, Ahmed E. Hassan,
• Abstract要約: 既存のAIOpsソリューションは通常、定期的なトレーニングを通じてコンセプトドリフトに対してAIOpsモデルをメンテナンスする。 最適なAIOpsモデルを選択する際の能力を評価することにより、いくつかのモデル選択メカニズムを評価する。 また,既存モデル選択法と理論上界との相違点も明らかにした。
• 参考スコア（独自算出の注目度）: 12.963288374621342
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: AIOps (Artificial Intelligence for IT Operations) solutions leverage the tremendous amount of data produced during the operation of large-scale systems and machine learning models to assist software practitioners in their system operations. Existing AIOps solutions usually maintain AIOps models against concept drift through periodical retraining, despite leaving a pile of discarded historical models that may perform well on specific future data. Other prior works propose dynamically selecting models for prediction tasks from a set of candidate models to optimize the model performance. However, there is no prior work in the AIOps area that assesses the use of model selection mechanisms on historical models to improve model performance or robustness. To fill the gap, we evaluate several model selection mechanisms by assessing their capabilities in selecting the optimal AIOps models that were built in the past to make predictions for the target data. We performed a case study on three large-scale public operation datasets: two trace datasets from the cloud computing platforms of Google and Alibaba, and one disk stats dataset from the BackBlaze cloud storage data center. We observe that the model selection mechnisms utilizing temporal adjacency tend to have a better performance and can prevail the periodical retraining approach. Our findings also highlight a performance gap between existing model selection mechnisms and the theoretical upper bound which may motivate future researchers and practitioners in investigating more efficient and effective model selection mechanisms that fit in the context of AIOps.
• Abstract（参考訳）: AIOps(Artificial Intelligence for IT Operations)ソリューションは、大規模システムや機械学習モデルの運用中に生成される膨大な量のデータを活用して、ソフトウェア実践者のシステム操作を支援する。 既存のAIOpsソリューションは、特定の将来のデータでうまく機能する可能性のある、破棄された歴史的なモデルの山を残しながら、定期的なトレーニングを通じて、コンセプトドリフトに対するAIOpsモデルを維持するのが一般的である。 他の先行研究では、モデル性能を最適化するために、候補モデルの集合から予測タスクのモデルを動的に選択することを提案した。 しかし、AIOps領域では、モデルパフォーマンスやロバスト性を改善するために、過去のモデルにモデル選択メカニズムを使用することを評価する以前の作業はない。 このギャップを埋めるために、過去に構築された最適なAIOpsモデルを選択し、ターゲットデータの予測を行う能力を評価することにより、いくつかのモデル選択メカニズムを評価する。 GoogleとAlibabaのクラウドコンピューティングプラットフォームから得られた2つのトレースデータセットと、BackBlazeのクラウドストレージデータセンタから得られた1つのディスク統計データセットです。 時間的隣接性を利用したモデル選択メカニズムは、より優れた性能を示し、定期的なリトレーニングアプローチを普及させる可能性がある。 また,AIOpsの文脈に適合する,より効率的かつ効果的なモデル選択機構の研究において,既存のモデル選択機構と,将来の研究者や実践者のモチベーションとなる理論上界との間の性能ギャップも浮き彫りにしている。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Data-Juicer Sandbox: A Feedback-Driven Suite for Multimodal Data-Model Co-development [67.55944651679864]
  統合データモデル共同開発に適した新しいサンドボックススイートを提案する。 このサンドボックスは、フィードバック駆動の実験プラットフォームを提供し、コスト効率とデータとモデルの両方のガイド付き洗練を可能にする。
  論文  参考訳（メタデータ） (2024-07-16T14:40:07Z)
• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• A Two-Phase Recall-and-Select Framework for Fast Model Selection [13.385915962994806]
  本稿では,2相モデル選択フレームワークを提案する。 これは、ベンチマークデータセット上でモデルのトレーニングパフォーマンスを活用することにより、堅牢なモデルを選択する効率を高めることを目的としている。 提案手法は,従来のベースライン法に比べて約3倍の速度でハイパフォーマンスモデルの選択を容易にすることが実証された。
  論文  参考訳（メタデータ） (2024-03-28T14:44:44Z)
• On the Model Update Strategies for Supervised Learning in AIOps Solutions [30.177330291396277]
  AIOps(Artificial Intelligence for IT Operations)ソリューションは、大規模システムや機械学習モデルの運用中に生成された大量のデータを活用する。 運用環境やユーザベースの変化などの要因により、現場で生成された運用データが常に進化しているため、AIOpsソリューションのモデルは、デプロイ後に継続的に維持する必要がある。 性能、コスト、安定性に関する教師あり学習のための5種類のモデル更新戦略を実証的に評価した。
  論文  参考訳（メタデータ） (2023-11-06T15:57:04Z)
• Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
  カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。 適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。 最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-10-05T14:08:42Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Design of Dynamic Experiments for Black-Box Model Discrimination [72.2414939419588]
  選択したいような動的モデル判別の設定を考えてみましょう。 (i) 最高のメカニスティックな時間変化モデルと (ii) 最高のモデルパラメータ推定値です。 勾配情報にアクセス可能な競合する力学モデルに対しては、既存の手法を拡張し、より広い範囲の問題の不確実性を組み込む。 これらのブラックボックスモデルをガウス過程サロゲートモデルに置き換えることで、モデル識別設定を拡張して、競合するブラックボックスモデルをさらに取り入れる。
  論文  参考訳（メタデータ） (2021-02-07T11:34:39Z)
• Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
  視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。 潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。 我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
  論文  参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。