論文の概要: TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps

• arxiv url: http://arxiv.org/abs/2609.14762v1
• Date: Sun, 13 Sep 2026 19:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.961891
• Title: TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps
• Title（参考訳）: TriCalRAG: AIOpsにおけるオンプレミスLLMベースのルート原因分析のための3段階の検索型ベンチマーク
• Abstract要約: クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。 データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。 我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
• 参考スコア（独自算出の注目度）: 1.8136615181861766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cloud-hosted large language models (LLMs) are increasingly used for root cause analysis (RCA) in AIOps pipelines, but they introduce data privacy risk, network latency, and per-query cost that scale poorly with production log volumes. We present TriCalRAG, a benchmark evaluating open-weight LLMs served locally via vLLM on a single high-memory workstation GPU (NVIDIA RTX PRO 6000, 96GB) against a classical LSTM-based log anomaly detector (DeepLog), across four real, publicly available log datasets (BGL, HDFS, Thunderbird, OpenStack). We evaluate two open-weight models (Qwen2.5-14B, Mistral-Small) under three prompting strategies: zero-shot, few-shot, and retrieval-augmented generation (RAG) over a labeled incident history, reporting accuracy, precision/recall, and F1 with bootstrap 95% confidence intervals across 3 random seeds, alongside throughput and VRAM footprint. Our results show that RAG not only improves mean F1 by 0.10-0.27 over zero-shot prompting but, more importantly, substantially stabilizes model calibration: zero-shot prompting drives both models toward near-degenerate behavior (predicting "anomaly" on up to 100% of incidents on some datasets), while RAG keeps predicted-positive rates close to the true class balance in the majority of configurations. Mistral-Small achieves higher macro-averaged F1 than Qwen2.5-14B (0.644 vs. 0.560) but exhibits calibration failures in more configurations (7 vs. 5 of 12), while running at roughly half the throughput - indicating the better model choice depends on whether a deployment prioritizes peak accuracy or predictable behavior across prompting conditions. Ablations show batching scales throughput 41 times on a single card and that 4-bit quantization reduces latency 20% with no measurable accuracy loss. We release our benchmark harness, dataset splits, and evaluation code to support reproducible on-premise AIOps research.
• Abstract（参考訳）: クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されているが、データプライバシのリスク、ネットワークレイテンシ、運用ログボリュームの低スケールによるクエリ毎のコストが導入されている。 我々は,従来のLSTMベースのログ異常検出(DeepLog)に対して,単一の高メモリワークステーションGPU(NVIDIA RTX PRO 6000,96GB)上で,vLLMを介してローカルに提供されるオープンウェイトLLMを評価するベンチマークであるTriCalRAGを,4つのリアルタイムログデータセット(BGL,HDFS,Thunderbird,OpenStack)に対して提示する。 ゼロショット, 少数ショット, 検索拡張生成(RAG)のラベル付きインシデント履歴に対する2つのオープンウェイトモデル(Qwen2.5-14B, Mistral-Small)の評価を行い, スループット, VRAMフットプリントとともに3つのランダムシードに対して95%信頼区間をブートストラップしたF1について検討した。 その結果、RAGはゼロショットプロンプトよりも平均F1を0.10-0.27で改善するだけでなく、モデルキャリブレーションを大幅に安定化することがわかった。 Mistral-Small は Qwen2.5-14B (0.644 vs. 0.560) よりも高いマクロ平均 F1 を達成するが、キャリブレーションの失敗を示す(7対5対12)。 アブレーションでは、バッチ処理は1枚のカードで41倍のスループットを示し、4ビット量子化は測定可能な精度損失を伴わずに遅延20%を削減する。 私たちは、再現可能なオンプレミスAIOpsリサーチをサポートするために、ベンチマークハーネス、データセット分割、評価コードをリリースしています。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Anatomy of a Quantized Agent: VRAM Stability and Forecasting in Code-Synthesis Agentic Workloads [0.0]
  LLM推論におけるピークVRAM消費の分析モデルは、メモリを重み保存、KVキャッシュ、アクティベーション項に分解する。 厳密なスコープ測定実験において, この分解を実証的に評価した。 複雑な予測VRAMモデルを高度に定量化し、重みを支配下に置いたレシエーションに展開する上での正当性は見つからない。
  論文  参考訳（メタデータ） (2026-08-15T08:39:43Z)
• Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search [44.70501115891534]
  アーキテクチャ生成LLMのQLoRA微調整からループを閉じる自動モバイルデプロイメントパイプラインを提案する。 我々はSamsung SM-P613タブレット上で,CIFAR-10とCIFAR-100の2つのベンチマークで同じ凍結プロトコルを評価した。
  論文  参考訳（メタデータ） (2026-07-29T14:36:45Z)
• KernelSight-LM: A Kernel-Level LLM Inference Simulator [27.54401355597591]
  本稿では,トークンレベルの実行をモデル化し,カーネルレベルの遅延分解を生成する,詳細な推論シミュレータであるKernelSight-LMを提案する。 それぞれのサービスステップを学習された効率項、通信モデル、ホストオーバーヘッドモデルでカーネルモデルに分解する。 カーネルレベルのボトルネックはハードウェア/ソフトウェアの共同設計とキャパシティプランニングをサポートする。
  論文  参考訳（メタデータ） (2026-06-26T19:43:38Z)
• From Detection to Recovery: Operational Analysis on LLM Pre-training with 504 GPUs [1.2875754718643733]
  この技術報告では63ノードのNVIDIA B200の生産クラスタを実証分析した。 5つのパーティ(SKT、Upstage、Lablup、NVIDIA Korea、VAST Data)が統合された監視パイプラインを共有している。 これにより、2-4ノードスケールでは見られない60ノードスケールのストレージI/Oボトルネックの診断が可能となった。
  論文  参考訳（メタデータ） (2026-05-10T06:46:06Z)
• AnomalyGen: Enhancing Log-Based Anomaly Detection with Code-Guided Data Augmentation [42.87177529900358]
  AnomalyGenは、ラベル付きログシーケンスをソースコードから合成することによってトレーニングデータを増強する新しいフレームワークである。 12のさまざまな異常検出モデルに対するHDFSとZookeeperの評価は、AnomalyGenが一貫してパフォーマンスを改善していることを示している。
  論文  参考訳（メタデータ） (2026-04-13T07:24:43Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• Benchmarking Small Language Models and Small Reasoning Language Models on System Log Severity Classification [3.192782465393035]
  最終タスクとしてではなく,実行時ログ理解のためのベンチマークとして扱われる場合,重大度分類の方が有益である,と我々は主張する。 9つの小言語モデル (SLM) と小推論言語モデル (SRLM) をゼロショット, 少数ショット, 検索強化世代 (RAG) のプロンプトで評価した。
  論文  参考訳（メタデータ） (2026-01-12T18:02:33Z)
• Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
  我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。 SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-10T17:15:49Z)
• S*: Test Time Scaling for Code Generation [55.11863577956177]
  コード生成のための最初のハイブリッドテストタイムスケーリングフレームワークであるS*を提案する。 S*は生成されたコードのカバレッジと選択精度を大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-20T09:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。