論文の概要: AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds
- arxiv url: http://arxiv.org/abs/2501.06706v1
- Date: Sun, 12 Jan 2025 04:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 19:20:12.957132
- Title: AIOpsLab: A Holistic Framework to Evaluate AI Agents for Enabling Autonomous Clouds
- Title（参考訳）: AIOpsLab: 自律クラウドを実現するためのAIエージェントを評価するための全体論的なフレームワーク
- Authors: Yinfang Chen, Manish Shetty, Gagan Somashekar, Minghua Ma, Yogesh Simmhan, Jonathan Mace, Chetan Bansal, Rujia Wang, Saravan Rajmohan,
- Abstract要約: AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としており、人間の作業量を削減し、顧客への影響を最小限にする。
大規模言語モデル(LLM)とAIエージェントの最近の進歩は、エンドツーエンドとマルチタスクの自動化を可能にすることで、AIOpsに革命をもたらしている。
マイクロサービスクラウド環境をデプロイし、障害を注入し、ワークロードを生成し、テレメトリデータをエクスポートするフレームワークであるAIOPSLABを紹介します。
- 参考スコア（独自算出の注目度）: 12.464941027105306
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: AI for IT Operations (AIOps) aims to automate complex operational tasks, such as fault localization and root cause analysis, to reduce human workload and minimize customer impact. While traditional DevOps tools and AIOps algorithms often focus on addressing isolated operational tasks, recent advances in Large Language Models (LLMs) and AI agents are revolutionizing AIOps by enabling end-to-end and multitask automation. This paper envisions a future where AI agents autonomously manage operational tasks throughout the entire incident lifecycle, leading to self-healing cloud systems, a paradigm we term AgentOps. Realizing this vision requires a comprehensive framework to guide the design, development, and evaluation of these agents. To this end, we present AIOPSLAB, a framework that not only deploys microservice cloud environments, injects faults, generates workloads, and exports telemetry data but also orchestrates these components and provides interfaces for interacting with and evaluating agents. We discuss the key requirements for such a holistic framework and demonstrate how AIOPSLAB can facilitate the evaluation of next-generation AIOps agents. Through evaluations of state-of-the-art LLM agents within the benchmark created by AIOPSLAB, we provide insights into their capabilities and limitations in handling complex operational tasks in cloud environments.
- Abstract（参考訳）: AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としており、人間の作業量を削減し、顧客への影響を最小限にする。
従来のDevOpsツールとAIOpsアルゴリズムは、独立した運用タスクに対処することに集中することが多いが、Large Language Models(LLM)とAIエージェントの最近の進歩は、エンドツーエンドとマルチタスクの自動化を可能にすることで、AIOpsに革命をもたらしている。
本稿では、AIエージェントがインシデントライフサイクル全体を通して自律的に運用タスクを管理し、セルフヒーリングクラウドシステム、AgentOpsと呼ばれるパラダイムを実現する未来を構想する。
このビジョンを実現するには、これらのエージェントの設計、開発、評価をガイドする包括的なフレームワークが必要である。
この目的のために、私たちは、マイクロサービスクラウド環境をデプロイし、障害を注入し、ワークロードを生成し、テレメトリデータをエクスポートするフレームワークであるAIOPSLABを紹介します。
このような包括的フレームワークのキー要件について議論し、AIOPSLABが次世代AIOpsエージェントの評価をいかに促進できるかを実証する。
AIOPSLABが作成したベンチマーク内で、最先端のLLMエージェントの評価を通じて、クラウド環境における複雑な運用タスクを扱う際の、その機能と制限に関する洞察を提供する。
関連論文リスト
- OS Agents: A Survey on MLLM-based Agents for General Computing Devices Use [101.57043903478257]
アイアンマンの架空のJ.A.R.V.I.Sほど有能で多用途なAIアシスタントを作る夢は、長い間想像力に恵まれてきた。
マルチモーダル(multi-modal)な大きな言語モデル((M)LLMs)の進化により、この夢は現実に近づいている。
本調査は,OSエージェント研究の現状を整理し,学術調査と産業開発の両方の指針を提供する。
論文 参考訳（メタデータ） (2025-08-06T14:33:45Z) - Agentic Web: Weaving the Next Web with AI Agents [109.13815627467514]
大規模言語モデル(LLM)を活用したAIエージェントの出現は、エージェントWebに対する重要な転換点である。
このパラダイムでは、エージェントが直接対話して、ユーザに代わって複雑なタスクを計画、コーディネート、実行します。
本稿では,エージェントWebの理解と構築のための構造化フレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-28T17:58:12Z) - Towards a Playground to Democratize Experimentation and Benchmarking of AI Agents for Network Troubleshooting [48.131257144711576]
ネットワークトラブルシューティングにおけるAIエージェントの適用に焦点を当てる。
標準化され、再現可能で、オープンなベンチマークプラットフォームの必要性について詳しく説明します。
論文 参考訳（メタデータ） (2025-07-01T08:46:37Z) - Towards Pervasive Distributed Agentic Generative AI -- A State of The Art [0.0]
知的エージェントとLarge Language Models(LLM)の急速な進歩は、広範にわたるコンピューティング分野を変革している。
この調査では、LLMエージェントのアーキテクチャコンポーネントの概要と、さまざまなシナリオにおけるデプロイメントと評価について概説する。
リソース制約のあるデバイス上でのローカルおよび分散実行を含む、最先端のエージェントデプロイメント戦略とアプリケーションを強調している。
論文 参考訳（メタデータ） (2025-06-16T10:15:06Z) - AssetOpsBench: Benchmarking AI Agents for Task Automation in Industrial Asset Operations and Maintenance [7.110126223593506]
本稿では,これまで異なる専門知識と手動調整を必要としていたタスクを,AIエージェントが自律的に管理する未来を想定する。
AssetOpsBench - ドメイン固有のエージェントの開発、オーケストレーション、評価をガイドするために設計された、統合されたフレームワークと環境。
我々は,このような包括的システムに対する重要な要件を概説し,実世界の産業活動に対する認識,推論,制御を統合するエージェント構築に関する実用的な洞察を提供する。
論文 参考訳（メタデータ） (2025-06-04T10:57:35Z) - AI Agents vs. Agentic AI: A Conceptual Taxonomy, Applications and Challenges [0.36868085124383626]
この研究はAIエージェントとエージェントAIを区別し、構造化された概念分類、アプリケーションマッピング、課題分析を提供する。
ジェネレーティブAIは前駆体として位置づけられており、AIエージェントはツールの統合、エンジニアリングの促進、推論の強化を通じて前進している。
エージェントAIシステムは、マルチエージェントコラボレーション、動的タスク分解、永続メモリ、オーケストレーション自律性によって特徴付けられるパラダイムシフトを表している。
論文 参考訳（メタデータ） (2025-05-15T16:21:33Z) - Internet of Agents: Fundamentals, Applications, and Challenges [66.44234034282421]
異種エージェント間のシームレスな相互接続、動的発見、協調的なオーケストレーションを可能にする基盤となるフレームワークとして、エージェントのインターネット(IoA)を紹介した。
我々は,機能通知と発見,適応通信プロトコル,動的タスクマッチング,コンセンサスとコンフリクト解決機構,インセンティブモデルなど,IoAの重要な運用イネーラを分析した。
論文 参考訳（メタデータ） (2025-05-12T02:04:37Z) - Towards Agentic AI Networking in 6G: A Generative Foundation Model-as-Agent Approach [35.05793485239977]
本稿では,AIエージェント間のインタラクション,協調学習,知識伝達を支援する新しいフレームワークであるAgentNetを提案する。
本稿では,デジタルツイン方式の産業自動化とメタバース方式のインフォテインメントシステムという,2つの応用シナリオについて考察する。
論文 参考訳（メタデータ） (2025-03-20T00:48:44Z) - TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。
最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。
これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
論文 参考訳（メタデータ） (2024-12-18T18:55:40Z) - AgentOps: Enabling Observability of LLM Agents [12.49728300301026]
大規模言語モデル(LLM)エージェントは、自律的で非決定論的行動のため、AI安全性に重大な懸念を提起する。
本稿では,エージェントのライフサイクル全体を通じて追跡されるべきアーティファクトと関連するデータを特定し,効果的な観測可能性を実現するための,AgentOpsの包括的な分類法を提案する。
私たちの分類は、監視、ロギング、分析をサポートするAgentOpsインフラストラクチャを設計、実装するためのリファレンステンプレートとして機能します。
論文 参考訳（メタデータ） (2024-11-08T02:31:03Z) - Asynchronous Tool Usage for Real-Time Agents [61.3041983544042]
並列処理とリアルタイムツール利用が可能な非同期AIエージェントを導入する。
私たちの重要な貢献は、エージェントの実行とプロンプトのためのイベント駆動有限状態マシンアーキテクチャです。
この研究は、流体とマルチタスクの相互作用が可能なAIエージェントを作成するための概念的なフレームワークと実践的なツールの両方を提示している。
論文 参考訳（メタデータ） (2024-10-28T23:57:19Z) - Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。
まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。
これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。
ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
論文 参考訳（メタデータ） (2024-10-16T08:24:09Z) - Building AI Agents for Autonomous Clouds: Challenges and Design Principles [17.03870042416836]
AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としている。
このビジョンペーパーは、まず要求をフレーミングし、次に設計決定について議論することで、そのようなフレームワークの基礎を定めています。
アプリケーションをオーケストレーションし,カオスエンジニアリングを使用してリアルタイム障害を注入するエージェント-クラウドインターフェースを活用したプロトタイプ実装であるAIOpsLabと,障害のローカライズと解決を行うエージェントとのインターフェースを提案する。
論文 参考訳（メタデータ） (2024-07-16T20:40:43Z) - Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。
我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。
IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
論文 参考訳（メタデータ） (2024-07-09T17:33:24Z) - SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering [79.07755560048388]
SWEエージェント(SWE-agent)は、LMエージェントが自律的にコンピュータを使用してソフトウェア工学のタスクを解決するシステムである。
SWEエージェントのカスタムエージェントコンピュータインタフェース(ACI)は、エージェントがコードファイルを作成し編集し、リポジトリ全体をナビゲートし、テストやその他のプログラムを実行する能力を著しく向上させる。
我々はSWE-benchとHumanEvalFixのSWE-agentを評価し、それぞれ12.5%と87.7%のパス@1レートで最先端の性能を実現した。
論文 参考訳（メタデータ） (2024-05-06T17:41:33Z) - CACA Agent: Capability Collaboration based AI Agent [18.84686313298908]
本稿ではCACAエージェント(Capability Collaboration based AI Agent)を提案する。
CACA Agentは、単一のLLMへの依存を減らすだけでなく、AI Agentを実装するための一連のコラボレーティブ機能を統合する。
本稿ではCACAエージェントの動作とアプリケーションシナリオの拡張について説明する。
論文 参考訳（メタデータ） (2024-03-22T11:42:47Z) - AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities
and Challenges [60.56413461109281]
IT運用のための人工知能(AIOps)は、AIのパワーとIT運用プロセスが生成するビッグデータを組み合わせることを目的としている。
我々は、IT運用活動が発信する重要なデータの種類、分析における規模と課題、そしてどのように役立つかについて深く議論する。
主要なAIOpsタスクは、インシデント検出、障害予測、根本原因分析、自動アクションに分類します。
論文 参考訳（メタデータ） (2023-04-10T15:38:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。