論文の概要: Recommending Root-Cause and Mitigation Steps for Cloud Incidents using Large Language Models

• arxiv url: http://arxiv.org/abs/2301.03797v1
• Date: Tue, 10 Jan 2023 05:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 17:30:12.053072
• Title: Recommending Root-Cause and Mitigation Steps for Cloud Incidents using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたクラウドインシデントに対する根管拡大と緩和手順
• Authors: Toufique Ahmed, Supriyo Ghosh, Chetan Bansal, Thomas Zimmermann, Xuchao Zhang, Saravan Rajmohan
• Abstract要約: オンコールエンジニアは、生産インシデントの根本原因と緩和のために、かなりの量のドメイン知識と手作業を必要とします。 人工知能の最近の進歩は、GPT-3.xのような最先端の大規模言語モデルを生み出している。 我々は、エンジニアの根本原因と生産インシデントを支援するために、これらのモデルの有効性を評価するために、最初の大規模な研究を行った。
• 参考スコア（独自算出の注目度）: 18.46643617658214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Incident management for cloud services is a complex process involving several steps and has a huge impact on both service health and developer productivity. On-call engineers require significant amount of domain knowledge and manual effort for root causing and mitigation of production incidents. Recent advances in artificial intelligence has resulted in state-of-the-art large language models like GPT-3.x (both GPT-3.0 and GPT-3.5), which have been used to solve a variety of problems ranging from question answering to text summarization. In this work, we do the first large-scale study to evaluate the effectiveness of these models for helping engineers root cause and mitigate production incidents. We do a rigorous study at Microsoft, on more than 40,000 incidents and compare several large language models in zero-shot, fine-tuned and multi-task setting using semantic and lexical metrics. Lastly, our human evaluation with actual incident owners show the efficacy and future potential of using artificial intelligence for resolving cloud incidents.
• Abstract（参考訳）: クラウドサービスのインシデント管理は、いくつかのステップを含む複雑なプロセスであり、サービスの健全性と開発者の生産性に大きな影響を与えます。 オンコールエンジニアは、生産インシデントの根本原因と緩和のために、かなりの量のドメイン知識と手作業を必要とします。 人工知能の最近の進歩により GPT-3.x (GPT-3.0 と GPT-3.5 の両方) のような最先端の大規模言語モデルは、質問応答からテキスト要約まで様々な問題を解決するために使われている。 本研究では,これらのモデルの有効性を評価するため,技術者が原因を突き止め,生産インシデントを緩和する上で,最初の大規模研究を行う。 われわれはMicrosoftで4万件以上のインシデントについて厳格な調査を行い、セマンティックメトリクスと語彙メトリクスを使用したゼロショット、微調整、マルチタスク設定でいくつかの大きな言語モデルを比較した。 最後に、実際のインシデント所有者による人間評価では、クラウドインシデントを解決するために人工知能を使用する効果と将来性が示されています。

関連論文リスト

• Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
  Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。 Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
  論文  参考訳（メタデータ） (2024-11-01T14:27:16Z)
• Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths [69.39559168050923]
  本稿では,多様な経路から学習の推論と探索を可能にするReasoning Paths Optimization (RPO)を紹介する。 提案手法は,各推論ステップにおいて好意的な分岐を奨励し,好ましくない分岐を罰し,モデル全体の問題解決性能を高める。 我々は,数語問題や理科ベースの試験問題など,多段階の推論タスクに焦点をあてる。
  論文  参考訳（メタデータ） (2024-10-07T06:37:25Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• X-lifecycle Learning for Cloud Incident Management using LLMs [18.076347758182067]
  大規模なクラウドサービスのインシデント管理は複雑で面倒なプロセスです。 大規模言語モデル [LLMs] の最近の進歩は、コンテキストレコメンデーションを自動的に生成する機会を生み出した。 本稿では,SDLCの異なる段階から追加のコンテキストデータを追加することで,性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T06:19:02Z)
• Automated Root Causing of Cloud Incidents using In-Context Learning with GPT-4 [23.856839017006386]
  ルート原因分析(RCA)は、クラウドサービスのインシデント診断プロセスにおいて重要な役割を果たす。 GPT-4モデルの巨大なサイズは、ユーザデータにそれを微調整しようとする際の課題を示す。 そこで本研究では,自動ルート生成のためのコンテキスト内学習手法を提案し,微調整の必要性を排除した。
  論文  参考訳（メタデータ） (2024-01-24T21:02:07Z)
• A Comparative Study of Transformer-based Neural Text Representation Techniques on Bug Triaging [8.831760500324318]
  我々は、バグトリアージのタスクにおいて、ファイントゥーントランスフォーマーベースの言語モデルに関する最初の調査の1つを提供している。 DeBERTaは、開発者とコンポーネントの割り当てのトリアージタスクの中で、最も効果的なテクニックです。
  論文  参考訳（メタデータ） (2023-10-10T18:09:32Z)
• Supporting Human-AI Collaboration in Auditing LLMs with LLMs [33.56822240549913]
  大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。 これらの言語モデルを厳格に監査することは重要である。 既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
  論文  参考訳（メタデータ） (2023-04-19T21:59:04Z)
• A Causal Framework to Quantify the Robustness of Mathematical Reasoning with Language Models [81.15974174627785]
  入力空間における直接的介入に対する頑健さと感度の観点から言語モデルの振舞いについて検討する。 しかし, GPT-3 Davinciモデル(175B)は, 他のGPTモデルと比較して, 頑健さと感度の両面で劇的な改善を実現している。
  論文  参考訳（メタデータ） (2022-10-21T15:12:37Z)
• Learnware: Small Models Do Big [69.88234743773113]
  自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
  論文  参考訳（メタデータ） (2022-10-07T15:55:52Z)
• Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models [648.3665819567409]
  言語モデルは、規模が大きくなるにつれて量的改善と新しい質的能力の両方を示す。 ビッグベンチは204のタスクで構成され、132の機関で450人の著者が貢献している。 我々は,OpenAIのGPTモデル,Google内部の高密度トランスアーキテクチャ,BIGベンチ上のスイッチ型スパーストランスの挙動を評価する。
  論文  参考訳（メタデータ） (2022-06-09T17:05:34Z)
• Neural Knowledge Extraction From Cloud Service Incidents [13.86595381172654]
  SoftNERは、サービスインシデントから教師なしの知識抽出のためのフレームワークである。 マルチタスク学習に基づく新しいBiLSTM-CRFモデルを構築した。 教師なし機械学習に基づく手法の精度は0.96であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T17:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。