論文の概要: AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model

• arxiv url: http://arxiv.org/abs/2501.11031v1
• Date: Sun, 19 Jan 2025 12:46:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:26:50.097411
• Title: AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model
• Title（参考訳）: AdaptiveLog: 大規模および小規模言語モデルの協調による適応ログ分析フレームワーク
• Authors: Lipeng Ma, Weidong Yang, Yixuan Li, Ben Fei, Mingjie Zhou, Shuhao Li, Sihang Jiang, Bo Xu, Yanghua Xiao,
• Abstract要約: 本稿では、AdaptiveLogとして知られる適応ログ分析フレームワークを紹介する。 優れた結果を確保しつつ、LLMに関連するコストを効果的に削減する。 実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成することを示した。
• 参考スコア（独自算出の注目度）: 42.72663245137984
• License:
• Abstract: Automated log analysis is crucial to ensure high availability and reliability of complex systems. The advent of LLMs in NLP has ushered in a new era of language model-driven automated log analysis, garnering significant interest. Within this field, two primary paradigms based on language models for log analysis have become prominent. Small Language Models (SLMs) follow the pre-train and fine-tune paradigm, focusing on the specific log analysis task through fine-tuning on supervised datasets. On the other hand, LLMs following the in-context learning paradigm, analyze logs by providing a few examples in prompt contexts without updating parameters. Despite their respective strengths, we notice that SLMs are more cost-effective but less powerful, whereas LLMs with large parameters are highly powerful but expensive and inefficient. To trade-off between the performance and inference costs of both models in automated log analysis, this paper introduces an adaptive log analysis framework known as AdaptiveLog, which effectively reduces the costs associated with LLM while ensuring superior results. This framework collaborates an LLM and a small language model, strategically allocating the LLM to tackle complex logs while delegating simpler logs to the SLM. Specifically, to efficiently query the LLM, we propose an adaptive selection strategy based on the uncertainty estimation of the SLM, where the LLM is invoked only when the SLM is uncertain. In addition, to enhance the reasoning ability of the LLM in log analysis tasks, we propose a novel prompt strategy by retrieving similar error-prone cases as the reference, enabling the model to leverage past error experiences and learn solutions from these cases. Extensive experiments demonstrate that AdaptiveLog achieves state-of-the-art results across different tasks, elevating the overall accuracy of log analysis while maintaining cost efficiency.
• Abstract（参考訳）: 複雑なシステムの高可用性と信頼性を確保するためには、ログの自動解析が不可欠である。 NLPにおけるLLMの出現は、言語モデル駆動の自動ログ分析の新時代を後押しし、大きな関心を集めている。 この分野では、ログ分析のための言語モデルに基づく2つの主要なパラダイムが注目されている。 小言語モデル(SLM)は、教師付きデータセットの微調整を通じて、特定のログ分析タスクに焦点を当て、事前訓練と微調整のパラダイムに従う。 一方、LLMはコンテキスト内学習のパラダイムに従い、パラメータを更新することなく、プロンプトコンテキストにおけるいくつかの例を提供することでログを解析する。 それぞれの長所にもかかわらず、SLMはよりコスト効率が高いが、大きなパラメータを持つLCMは非常に強力であるが、高価で非効率である。 本稿では,自動ログ解析における両モデルの性能と推論コストのトレードオフとして,適応ログ解析フレームワークAdaptiveLogを導入する。 このフレームワークはLLMと小さな言語モデルと連携し、LSMを戦略的に割り当て、複雑なログに対処し、単純なログをSLMに委譲する。 具体的には,LSM が不確実である場合にのみ LLM が呼び出される SLM の不確実性推定に基づく適応的選択戦略を提案する。 さらに,ログ解析タスクにおけるLLMの推論能力を高めるために,類似のエラー発生事例を参照として検索し,過去のエラー経験を活用し,これらの事例から解を学習することで,新たなプロンプト戦略を提案する。 大規模な実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成し、コスト効率を維持しながらログ解析の全体的な精度を高めることが示されている。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Systematic Analysis of LLM Contributions to Planning: Solver, Verifier, Heuristic [6.687149103409949]
  大規模言語モデル(LLM)が計画問題の解決にどのように貢献するかを系統的に分析する。 解析の結果,LLMは最適計画を生成するのが難しいが,中間/不完全解に対してフィードバック信号を提供するのがはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T18:16:46Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
  LUNARは,効率的かつ市販のログ解析のための教師なし手法である。 我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。 大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-11T11:32:01Z)
• Towards Efficient LLM Grounding for Embodied Multi-Agent Collaboration [70.09561665520043]
  本稿では,多エージェント協調のための新しいフレームワークを提案する。これは,効率的な自己調整のための強化アドバンテージフィードバック(Reinforced Advantage feedback, ReAd)を導入する。 強化学習における重み付き回帰を多エージェントシステムに拡張して理論的解析を行う。 Over-AIと難解なRoCoBenchの実験は、ReAdが成功率のベースラインを超え、エージェントの相互作用ステップを著しく減少させることを示している。
  論文  参考訳（メタデータ） (2024-05-23T08:33:19Z)
• LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
  ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。 例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。 また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
  論文  参考訳（メタデータ） (2024-04-27T20:34:29Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
  適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
  論文  参考訳（メタデータ） (2023-10-03T04:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。