論文の概要: Studying the Characteristics of AIOps Projects on GitHub
- arxiv url: http://arxiv.org/abs/2212.13245v2
- Date: Tue, 5 Sep 2023 22:02:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 13:47:40.370374
- Title: Studying the Characteristics of AIOps Projects on GitHub
- Title(参考訳): githubにおけるaiopsプロジェクトの特性調査
- Authors: Roozbeh Aghili, Heng Li, Foutse Khomh
- Abstract要約: 我々は、AIOpsの実践的特性を理解するために、オープンソースのAIOpsプロジェクトの詳細な分析を行います。
私たちは、GitHubからAIOpsプロジェクトのセットを特定し、リポジトリメトリクスを分析します。
最後に、バグの数などの異なる品質指標を用いて、これらのプロジェクトの品質を評価します。
- 参考スコア(独自算出の注目度): 14.58848716249407
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial Intelligence for IT Operations (AIOps) leverages AI approaches to
handle the massive amount of data generated during the operations of software
systems. Prior works have proposed various AIOps solutions to support different
tasks in system operations and maintenance, such as anomaly detection. In this
study, we conduct an in-depth analysis of open-source AIOps projects to
understand the characteristics of AIOps in practice. We first carefully
identify a set of AIOps projects from GitHub and analyze their repository
metrics (e.g., the used programming languages). Then, we qualitatively examine
the projects to understand their input data, analysis techniques, and goals.
Finally, we assess the quality of these projects using different quality
metrics, such as the number of bugs. To provide context, we also sample two
sets of baseline projects from GitHub: a random sample of machine learning
projects and a random sample of general-purposed projects. By comparing
different metrics between our identified AIOps projects and these baselines, we
derive meaningful insights. Our results reveal a recent and growing interest in
AIOps solutions. However, the quality metrics indicate that AIOps projects
suffer from more issues than our baseline projects. We also pinpoint the most
common issues in AIOps approaches and discuss potential solutions to address
these challenges. Our findings offer valuable guidance to researchers and
practitioners, enabling them to comprehend the current state of AIOps practices
and shed light on different ways of improving AIOps' weaker aspects. To the
best of our knowledge, this work marks the first attempt to characterize
open-source AIOps projects.
- Abstract(参考訳): AIOps(Artificial Intelligence for IT Operations)は、AIアプローチを活用して、ソフトウェアシステムの運用中に生成された大量のデータを処理する。
以前の研究では、異常検出など、システム操作やメンテナンスでさまざまなタスクをサポートするaiopsソリューションを提案している。
本研究では,AIOpsの実践的特徴を理解するために,オープンソースのAIOpsプロジェクトの詳細な分析を行う。
まず、githubからaiopsプロジェクトのセットを慎重に特定し、リポジトリメトリクス(例えば、使用済みプログラミング言語)を分析します。
次に、プロジェクトの入力データ、分析技術、目標を理解するために、質的に調査する。
最後に、バグの数などの異なる品質指標を用いて、これらのプロジェクトの品質を評価します。
コンテキストを提供するために、githubから2つのベースラインプロジェクト(機械学習プロジェクトのランダムサンプルと汎用プロジェクトのランダムサンプル)をサンプルする。
特定したAIOpsプロジェクトとこれらのベースラインのメトリクスを比較することで、意味のある洞察を導き出します。
我々の結果は、AIOpsソリューションへの関心が高まっていることを示している。
しかしながら、品質指標は、aiopsプロジェクトがベースラインプロジェクトよりも多くの問題を抱えていることを示している。
AIOpsアプローチの最も一般的な問題を特定し、これらの課題に対処する潜在的なソリューションについて議論します。
私たちの発見は、研究者や実践者に貴重なガイダンスを提供し、AIOpsプラクティスの現状を理解し、AIOpsの弱点を改善するさまざまな方法に光を当てています。
私たちの知る限りでは、この研究はオープンソースのaiopsプロジェクトを特徴付ける最初の試みです。
関連論文リスト
- WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work
Tasks? [85.05288624713359]
本稿では,Webブラウザを介してソフトウェアと対話する大規模言語モデルベースエージェントについて検討する。
WorkArenaは、広く使用されているServiceNowプラットフォームに基づく29のタスクのベンチマークである。
BrowserGymは、そのようなエージェントの設計と評価のための環境である。
論文 参考訳(メタデータ) (2024-03-12T14:58:45Z) - Have Seen Me Before? Automating Dataset Updates Towards Reliable and
Timely Evaluation [59.91488389687633]
大きな言語モデル(LLM)は、ますます深刻な評価課題に直面しています。
本稿では,信頼性とタイムリーな評価のために,データセットの更新を自動化することを提案する。
論文 参考訳(メタデータ) (2024-02-19T07:15:59Z) - Benchmarking Large Language Models As AI Research Agents [105.65277755304277]
我々は,AI研究エージェントをベンチマークするMLタスクスイートであるMLAgentBenchを提案する。
我々は, GPT-4をベースとした研究エージェントが, MLAgentBenchの多くのタスクにおいて, 魅力的なMLモデルを構築できることを発見した。
長期計画や幻覚など,LSMをベースとした研究エージェントにとって重要な課題をいくつか挙げる。
論文 参考訳(メタデータ) (2023-10-05T04:06:12Z) - PyRCA: A Library for Metric-based Root Cause Analysis [66.72542200701807]
PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。
複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
論文 参考訳(メタデータ) (2023-06-20T09:55:10Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳(メタデータ) (2023-04-10T15:38:12Z) - OpenAGI: When LLM Meets Domain Experts [51.86179657467822]
ヒューマン・インテリジェンス(HI)は、複雑なタスクを解くための基本的なスキルの組み合わせに長けている。
この機能は人工知能(AI)にとって不可欠であり、包括的なAIエージェントに組み込まれるべきである。
マルチステップで現実的なタスクを解決するために設計されたオープンソースのプラットフォームであるOpenAGIを紹介します。
論文 参考訳(メタデータ) (2023-04-10T03:55:35Z) - Supporting the Task-driven Skill Identification in Open Source Project
Issue Tracking Systems [0.0]
コントリビュータがコントリビュータのタスクを選択するのを支援するために,オープンイシュー戦略の自動ラベル付けについて検討する。
スキルを特定することで、コントリビュータ候補はより適切なタスクを選択するべきだ、と私たちは主張する。
本研究では,実験におけるラベルの関連性を定量的に分析し,戦略の相対的重要性を比較した。
論文 参考訳(メタデータ) (2022-11-02T14:17:22Z) - Neural Architecture Search as Multiobjective Optimization Benchmarks:
Problem Formulation and Performance Assessment [30.264524448340406]
ニューラルアーキテクチャ探索(NAS)タスクを一般的な多目的最適化問題に定式化する。
最適化の観点から複素特性を解析する。
EMOアルゴリズムが効率的に動作するためのベンチマークテスト問題を生成するために,$texttEvoXBench$と呼ばれるエンドツーエンドパイプラインを提案する。
論文 参考訳(メタデータ) (2022-08-08T02:07:49Z) - Moving from Cross-Project Defect Prediction to Heterogeneous Defect
Prediction: A Partial Replication Study [0.0]
以前の研究では、しばしば機械学習技術を使ってバグ予測モデルを構築し、検証し、改善した。
これらのモデルから得られる知識は、ソースプロジェクトで十分なメトリクスが収集されていない場合、ターゲットプロジェクトと重複することはない。
得られた結果の再現と検証により,系統的に異種欠陥予測(HDP)を統合した。
その結果,hdpアルゴリズムはパラメータ選択に対する感度が高いため,多くのケースで実現不可能であることが判明した。
論文 参考訳(メタデータ) (2021-03-05T06:29:45Z) - A Systematic Mapping Study in AIOps [0.6977626480948161]
AIOpsへの多数の散在する貢献を集め、整理するための詳細なマッピングスタディを実施します。
AIOpsの分類法を作成し、将来の貢献のための基盤を構築します。
私たちの結果は、AIOps、特に障害関連のタスクを扱う貢献に対する最近ますます関心を示しています。
論文 参考訳(メタデータ) (2020-12-15T09:05:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。