論文の概要: OpsEval: A Comprehensive IT Operations Benchmark Suite for Large
Language Models
- arxiv url: http://arxiv.org/abs/2310.07637v3
- Date: Fri, 16 Feb 2024 08:17:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 20:21:46.938139
- Title: OpsEval: A Comprehensive IT Operations Benchmark Suite for Large
Language Models
- Title(参考訳): OpsEval: 大規模言語モデルのための総合的なIT運用ベンチマークスイート
- Authors: Yuhe Liu, Changhua Pei, Longlong Xu, Bohan Chen, Mingze Sun, Zhirui
Zhang, Yongqian Sun, Shenglin Zhang, Kun Wang, Haiming Zhang, Jianhui Li,
Gaogang Xie, Xidao Wen, Xiaohui Nie, Minghua Ma, Dan Pei
- Abstract要約: 大規模言語モデル(LLM)用に設計された総合的なタスク指向のOpsベンチマークであるOpsEvalを提示する。
このベンチマークには、英語と中国語で7184の質問と1736の質問回答(QA)形式が含まれている。
評価の信頼性を確保するため、何十人ものドメインエキスパートを招待して、質問を手動でレビューします。
- 参考スコア(独自算出の注目度): 27.098628890605593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Information Technology (IT) Operations (Ops), particularly Artificial
Intelligence for IT Operations (AIOps), is the guarantee for maintaining the
orderly and stable operation of existing information systems. According to
Gartner's prediction, the use of AI technology for automated IT operations has
become a new trend. Large language models (LLMs) that have exhibited remarkable
capabilities in NLP-related tasks, are showing great potential in the field of
AIOps, such as in aspects of root cause analysis of failures, generation of
operations and maintenance scripts, and summarizing of alert information.
Nevertheless, the performance of current LLMs in Ops tasks is yet to be
determined. In this paper, we present OpsEval, a comprehensive task-oriented
Ops benchmark designed for LLMs. For the first time, OpsEval assesses LLMs'
proficiency in various crucial scenarios at different ability levels. The
benchmark includes 7184 multi-choice questions and 1736 question-answering (QA)
formats in English and Chinese. By conducting a comprehensive performance
evaluation of the current leading large language models, we show how various
LLM techniques can affect the performance of Ops, and discussed findings
related to various topics, including model quantification, QA evaluation, and
hallucination issues. To ensure the credibility of our evaluation, we invite
dozens of domain experts to manually review our questions. At the same time, we
have open-sourced 20% of the test QA to assist current researchers in
preliminary evaluations of their OpsLLM models. The remaining 80% of the data,
which is not disclosed, is used to eliminate the issue of the test set leakage.
Additionally, we have constructed an online leaderboard that is updated in
real-time and will continue to be updated, ensuring that any newly emerging
LLMs will be evaluated promptly. Both our dataset and leaderboard have been
made public.
- Abstract(参考訳): 情報技術(IT)運用(Ops)、特にIT運用のための人工知能(AIOps)は、既存の情報システムの秩序的で安定した運用を維持するための保証である。
Gartnerの予測によると、自動化ITオペレーションにおけるAIテクノロジの利用は新しいトレンドになっている。
NLP関連のタスクで顕著な能力を発揮した大規模言語モデル(LLM)は、障害の根本原因分析、オペレーションの生成とメンテナンススクリプトの生成、アラート情報の要約など、AIOpsの分野で大きな可能性を示している。
しかし、Opsタスクにおける現在のLLMのパフォーマンスはまだ決定されていない。
本稿では,LLM向けに設計されたタスク指向OpsベンチマークであるOpsEvalを提案する。
OpsEvalは、さまざまな能力レベルの重要なシナリオにおいて、LLMの習熟度を初めて評価する。
ベンチマークには、英語と中国語の7184のマルチチョイス質問と1736のqwering(qa)形式が含まれている。
本研究では,現在主流となっている大規模言語モデルの総合的な性能評価を行い,様々なllm手法が運用性能に与える影響を示し,モデル定量化,qa評価,幻覚的問題など様々な話題に関連する知見について考察した。
評価の信頼性を確保するため、何十人ものドメイン専門家を招き、手動で質問をレビューします。
同時に、テストQAの20%をオープンソースとして公開し、現在の研究者がOpsLLMモデルの事前評価を行うのを支援しています。
残りの80%は公開されていないが、テストセットのリークの問題を除去するために使用される。
さらに、私たちはオンラインのリーダーボードを構築しました。これはリアルタイムで更新され、更新を続けます。
私たちのデータセットとleaderboardはどちらも公開されています。
関連論文リスト
- Characteristic AI Agents via Large Language Models [40.10858767752735]
本研究は,特有なAIエージェント構築における大規模言語モデルの性能調査に焦点をあてる。
character100''と呼ばれるデータセットがこのベンチマークのために構築されており、ウィキペディアの言語モデルでロールプレイを行う最も訪問者の多い人々で構成されている。
実験結果から,LLMの能力向上に向けた潜在的な方向性が明らかにされた。
論文 参考訳(メタデータ) (2024-03-19T02:25:29Z) - Towards leveraging LLMs for Conditional QA [1.9649272351760063]
本研究では,条件付き質問応答の挑戦領域におけるLarge Language Models(LLM)の機能と限界について考察する。
これらの結果から,全ての入力コンテキストを完全にエンコードすることなく,微調整LDMがSOTA(State-of-the-art (SOTA))性能を上回ることが判明した。
これらのモデルは、抽出された質問応答において、SOTAを10ポイント以上遅れる問題に遭遇し、偽情報を注入するリスクを軽減する。
論文 参考訳(メタデータ) (2023-12-02T14:02:52Z) - SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。
SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。
我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
論文 参考訳(メタデータ) (2023-11-28T05:53:55Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2023-10-24T12:18:17Z) - Analysis of the Reasoning with Redundant Information Provided Ability of
Large Language Models [0.0]
大きな言語モデル(LLM)は、さまざまな自然言語処理タスクにまたがる印象的な機能を示している。
このギャップに対処するため,Reasoning with Redundant Information Provided (RRIP) と呼ばれる新しいQAタスクが導入された。
本研究は,LlaMA2-13B-chatとGPT-3.5 (generative pre-trained transformer 3.5)の2つのLLMを評価し,従来のQAタスクとRRIPタスクとの対比を行った。
論文 参考訳(メタデータ) (2023-10-06T06:20:06Z) - OWL: A Large Language Model for IT Operations [41.6625328844482]
我々は、収集したOWL-Instructデータセットに基づいて訓練された大規模な言語モデルOWLを紹介する。
OWL-BenchにおけるOWLの性能評価とIT関連ベンチマークのオープン化について検討した。
論文 参考訳(メタデータ) (2023-09-17T15:19:29Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - Through the Lens of Core Competency: Survey on Evaluation of Large
Language Models [27.271533306818732]
大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。
既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。
LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。
この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
論文 参考訳(メタデータ) (2023-08-15T17:40:34Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳(メタデータ) (2023-04-10T15:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。