論文の概要: CoE-Ops: Collaboration of LLM-based Experts for AIOps Question-Answering
- arxiv url: http://arxiv.org/abs/2507.22937v1
- Date: Fri, 25 Jul 2025 06:17:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-01 17:19:08.313319
- Title: CoE-Ops: Collaboration of LLM-based Experts for AIOps Question-Answering
- Title（参考訳）: CoE-Ops: AIOpsの質問に対するLLMベースのエキスパートのコラボレーション
- Authors: Jinkun Zhao, Yuanshuai Wang, Xingjian Zhang, Ruibo Chen, Xingchuang Liao, Junle Wang, Lei Huang, Kui Zhang, Wenjun Wu,
- Abstract要約: 本稿では,汎用的な大規模言語モデルタスク分類器を組み込んだCoE-Opsフレームワークを提案する。
質問応答タスクを高レベル(コード、ビルド、テストなど)と低レベル(デフォルト分析、異常検出など)の両方で処理する際のフレームワークの機能を改善するために、検索強化生成メカニズムが導入された。
実験の結果,CoE-Opsは既存のCoE手法と比較して,高レベルのAIOpsタスクに対して最大8%の精度向上を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 10.093542296324845
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid evolution of artificial intelligence, AIOps has emerged as a prominent paradigm in DevOps. Lots of work has been proposed to improve the performance of different AIOps phases. However, constrained by domain-specific knowledge, a single model can only handle the operation requirement of a specific task,such as log parser,root cause analysis. Meanwhile, combining multiple models can achieve more efficient results, which have been proved in both previous ensemble learning and the recent LLM training domain. Inspired by these works,to address the similar challenges in AIOPS, this paper first proposes a collaboration-of-expert framework(CoE-Ops) incorporating a general-purpose large language model task classifier. A retrieval-augmented generation mechanism is introduced to improve the framework's capability in handling both Question-Answering tasks with high-level(Code,build,Test,etc.) and low-level(fault analysis,anomaly detection,etc.). Finally, the proposed method is implemented in the AIOps domain, and extensive experiments are conducted on the DevOps-EVAL dataset. Experimental results demonstrate that CoE-Ops achieves a 72% improvement in routing accuracy for high-level AIOps tasks compared to existing CoE methods, delivers up to 8% accuracy enhancement over single AIOps models in DevOps problem resolution, and outperforms larger-scale Mixture-of-Experts (MoE) models by up to 14% in accuracy.
- Abstract（参考訳）: 人工知能の急速な進化により、AIOpsはDevOpsの顕著なパラダイムとして登場した。
さまざまなAIOpsフェーズのパフォーマンスを改善するために、多くの作業が提案されている。
しかし、ドメイン固有の知識に制約された単一モデルは、ログパーサやルート原因分析など、特定のタスクの操作要件のみを扱うことができる。
一方、複数のモデルを組み合わせることでより効率的な結果が得られ、これは以前のアンサンブル学習と最近のLLMトレーニング領域の両方で証明されている。
本稿では、AIOPSにおける同様の課題に対処するため、汎用的な大規模言語モデルタスク分類器を組み込んだCoE-Ops(CoE-Ops)フレームワークを提案する。
高レベル(Code,build,Test,etc.)と低レベル(Fault Analysis,anomaly detection,etc.)の両方で質問応答タスクを処理する際のフレームワークの機能を改善するために,検索拡張生成機構が導入されている。
最後に、提案手法をAIOpsドメインで実装し、DevOps-EVALデータセットで広範な実験を行う。
実験結果によると、CoE-Opsは、既存のCoEメソッドと比較して、ハイレベルなAIOpsタスクのルーティング精度を72%改善し、DevOpsの問題解決において単一のAIOpsモデルに対して最大8%の精度向上を実現し、より大規模なMixture-of-Experts(MoE)モデルを最大14%の精度で上回っている。
関連論文リスト
- Multi-Agent Collaboration via Evolving Orchestration [61.93162413517026]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。
LLMをベースとしたマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し、中央オーケストレータがタスク状態の進化に応じてエージェントを動的に指示する。
クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2025-05-26T07:02:17Z) - Improving Large Language Model Planning with Action Sequence Similarity [50.52049888490524]
本研究では,インコンテキスト学習(ICL)によるモデル計画能力の向上について検討する。
GRASE-DC は2段階のパイプラインで,まず高効率のAS例を再サンプリングし,選択した例をキュレートする。
実験の結果,GRASE-DCは様々な計画タスクにおいて大幅な性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2025-05-02T05:16:17Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - EfficientLLaVA:Generalizable Auto-Pruning for Large Vision-language Models [64.18350535770357]
マルチモーダル推論の効率を高めるために,大規模視覚言語モデルの自動プルーニング手法を提案する。
提案手法では,所望のプルーニングポリシーを探索するために,少数のサンプルのみを活用する。
視覚的質問応答のためのScienceQA, Vizwiz, MM-vet, LLaVA-Benchデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2025-03-19T16:07:04Z) - SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。
現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
論文 参考訳（メタデータ） (2025-02-27T09:17:49Z) - LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。
モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。
深度スケールアップのための新しい学習方法である textbfLESA を提案する。
論文 参考訳（メタデータ） (2025-02-19T14:58:48Z) - ORI: O Routing Intelligence [0.7493096930372414]
単一大規模言語モデル(LLM)は、成長を続けるタスクの範囲に直面すると、しばしば不足する。
我々は,一組のLLMを利用する動的フレームワークであるORI(O Routing Intelligence)を提案する。
クエリをインテリジェントにルーティングすることで、ORIはMMLUで最大2.7ポイント、MuSRで1.8ポイントという最強の個別モデルを上回っている。
論文 参考訳（メタデータ） (2025-02-14T10:00:20Z) - Multi-Agent Sampling: Scaling Inference Compute for Data Synthesis with Tree Search-Based Agentic Collaboration [81.45763823762682]
本研究の目的は,マルチエージェントサンプリングによるデータ合成の問題を調べることでギャップを埋めることである。
逐次サンプリングプロセス中にワークフローが反復的に進化する木探索に基づくオーケストレーションエージェント(TOA)を紹介する。
アライメント、機械翻訳、数学的推論に関する実験は、マルチエージェントサンプリングが推論計算スケールとしてシングルエージェントサンプリングを著しく上回ることを示した。
論文 参考訳（メタデータ） (2024-12-22T15:16:44Z) - EPS-MoE: Expert Pipeline Scheduler for Cost-Efficient MoE Inference [49.94169109038806]
本稿では,既存の並列処理方式を超越したMoE用パイプラインスケジューラであるEPS-MoEを紹介する。
その結果,既存の並列推論手法と比較して,プリフィルスループットは52.4%向上した。
論文 参考訳（メタデータ） (2024-10-16T05:17:49Z) - Retraining-Free Merging of Sparse MoE via Hierarchical Clustering [14.858134039539697]
本稿では, 疎活性化型エキスパート混合(HC-SMoE)のための階層クラスタリングについて紹介する。
HC-SMoEは、パラメータ還元のためのタスクに依存しないエキスパートマージフレームワークである。
我々は、QwenやMixtralを含む最先端モデルにおけるHC-SMoEの有効性を示すために、複数のゼロショット言語タスクの理論的解析と評価を行う。
論文 参考訳（メタデータ） (2024-10-11T07:36:14Z) - FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。
FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-08-15T16:45:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。