論文の概要: eARCO: Efficient Automated Root Cause Analysis with Prompt Optimization

• arxiv url: http://arxiv.org/abs/2504.11505v1
• Date: Tue, 15 Apr 2025 08:10:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 01:30:46.978643
• Title: eARCO: Efficient Automated Root Cause Analysis with Prompt Optimization
• Title（参考訳）: eARCO: プロンプト最適化による効率的な自動根本原因解析
• Authors: Drishti Goel, Raghav Magazine, Supriyo Ghosh, Akshay Nambi, Prathamesh Deshpande, Xuchao Zhang, Chetan Bansal, Saravan Rajmohan,
• Abstract要約: 大規模クラウドシステムにおけるインシデントに対するルート原因分析(RCA)は、複雑で知識集約的なタスクである。 近年のLLM(Large-Language Models)の進歩は,インシデント管理ライフサイクルの異なる段階の解決に有効であることが証明されている。 我々は、最先端のプロンプト最適化技術であるPromptWizardを利用して、最適化されたプロンプト命令を自動的に識別する。
• 参考スコア（独自算出の注目度）: 15.299667843493491
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Root cause analysis (RCA) for incidents in large-scale cloud systems is a complex, knowledge-intensive task that often requires significant manual effort from on-call engineers (OCEs). Improving RCA is vital for accelerating the incident resolution process and reducing service downtime and manual efforts. Recent advancements in Large-Language Models (LLMs) have proven to be effective in solving different stages of the incident management lifecycle including RCA. However, existing LLM-based RCA recommendations typically leverage default finetuning or retrieval augmented generation (RAG) methods with static, manually designed prompts, which lead to sub-optimal recommendations. In this work, we leverage 'PromptWizard', a state-of-the-art prompt optimization technique, to automatically identify the best optimized prompt instruction that is combined with semantically similar historical examples for querying underlying LLMs during inference. Moreover, by utilizing more than 180K historical incident data from Microsoft, we developed cost-effective finetuned small language models (SLMs) for RCA recommendation generation and demonstrate the power of prompt optimization on such domain-adapted models. Our extensive experimental results show that prompt optimization can improve the accuracy of RCA recommendations by 21% and 13% on 3K test incidents over RAG-based LLMs and finetuned SLMs, respectively. Lastly, our human evaluation with incident owners have demonstrated the efficacy of prompt optimization on RCA recommendation tasks. These findings underscore the advantages of incorporating prompt optimization into AI for Operations (AIOps) systems, delivering substantial gains without increasing computational overhead.
• Abstract（参考訳）: 大規模クラウドシステムにおけるインシデントに対する根本原因分析(RCA)は、複雑な知識集約的なタスクであり、オンコールエンジニア(OCE)によるかなりの手作業を必要とすることが多い。 RCAの改善は、インシデント解決プロセスの加速と、サービスのダウンタイムと手作業の削減に不可欠です。 近年のLLM(Large-Language Models)の進歩は、RCAを含むインシデント管理ライフサイクルの異なる段階の解決に有効であることが証明されている。 しかしながら、既存のLCMベースのRCAレコメンデーションは、通常、静的で手動で設計されたプロンプトを持つデフォルトの微調整または検索拡張生成(RAG)メソッドを利用するため、サブ最適化レコメンデーションにつながる。 本研究では,現在最先端のプロンプト最適化手法であるPromptWizardを利用して,推論中に基礎となるLLMを問合せするための意味論的に類似した歴史的例と組み合わせた最適なプロンプト命令を自動的に識別する。 さらに、Microsoftから180万以上の過去のインシデントデータを活用することにより、RCAレコメンデーション生成のためのコスト効率の良い微調整小言語モデル(SLM)を開発し、そのようなドメイン適応モデルに対する迅速な最適化のパワーを実証した。 実験結果より, RAGによるLCMと微調整SLMの3Kテストインシデントにおいて, RCA推奨の精度を21%, 13%向上できることがわかった。 最後に,RCAレコメンデーションタスクにおける迅速な最適化の有効性を,インシデント所有者による人間による評価で実証した。 これらの発見は、AIOps(AI Ops)システムに即時最適化を組み込むことの利点を強調し、計算オーバーヘッドを増大させることなく、かなりの利益をもたらす。

関連論文リスト

• CiteFix: Enhancing RAG Accuracy Through Post-Processing Citation Correction [0.2548904650574671]
  Retrieval Augmented Generation (RAG) はLarge Language Models (LLM) の強力な応用として登場した。 本研究は,情報検索および要約作業におけるAI生成コンテンツの信頼性と信頼性の向上に寄与する。
  論文  参考訳（メタデータ） (2025-04-22T06:41:25Z)
• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
  本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。 近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• DARS: Dynamic Action Re-Sampling to Enhance Coding Agent Performance by Adaptive Tree Traversal [55.13854171147104]
  大規模言語モデル(LLM)は、自然言語処理、データ分析、ソフトウェア開発など、さまざまな領域に革命をもたらした。 符号化エージェントのための新しい推論時間計算スケーリングアプローチである動的アクション再サンプリング(DARS)を提案する。 我々は、SWE-Bench Liteベンチマークに対する我々のアプローチを評価し、このスケーリング戦略がClude 3.5 Sonnet V2で55%のパス@kスコアを達成したことを実証した。
  論文  参考訳（メタデータ） (2025-03-18T14:02:59Z)
• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
  オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。 我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。 実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-06-12T16:58:41Z)
• DNS-Rec: Data-aware Neural Architecture Search for Recommender Systems [79.76519917171261]
  本稿では,SRS(Sequential Recommender Systems)における計算オーバーヘッドと資源非効率性について述べる。 本稿では, プルーニング法と高度なモデル設計を組み合わせた革新的な手法を提案する。 我々の主な貢献は、リコメンダシステム(DNS-Rec)のためのデータ対応ニューラルアーキテクチャ検索の開発である。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• PerfRL: A Small Language Model Framework for Efficient Code Optimization [14.18092813639534]
  本稿では,コード最適化の問題に対処する革新的なフレームワークPerfRLを紹介する。 我々のフレームワークは、小型言語モデル(SLM)と強化学習(RL)の機能を活用している。 提案手法は,より短いトレーニング時間とより小さな事前学習モデルを用いて,最先端モデルと比較して,類似あるいはより良い結果が得られる。
  論文  参考訳（メタデータ） (2023-12-09T19:50:23Z)
• Prompt-Tuning Decision Transformer with Preference Ranking [83.76329715043205]
  本稿では,環境情報取得におけるRLエージェントの誘導手法としてトラジェクトリセグメントを用いたPrompt-Tuning DTアルゴリズムを提案する。 提案手法では,ガウス分布をランダムにサンプリングしてプロンプト軌道の要素を微調整し,選好ランク関数を用いて最適化方向を求める。 我々の研究は、RLにおける迅速な調整手法の進歩に寄与し、特定の選好タスクに対して大規模RLエージェントを最適化するための有望な方向性を提供する。
  論文  参考訳（メタデータ） (2023-05-16T17:49:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。