Fugu-MT 論文翻訳(概要): InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching

論文の概要: InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching

arxiv url: http://arxiv.org/abs/2507.08523v1
Date: Fri, 11 Jul 2025 12:21:29 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 18:03:54.347688
Title: InferLog: Accelerating LLM Inference for Online Log Parsing via ICL-oriented Prefix Caching
Title（参考訳）: InferLog: ICL指向プレフィックスキャッシュによるオンラインログ解析のためのLCM推論の高速化
Authors: Yilun Wang, Pengfei Chen, Haiyu Huang, Zilong He, Gou Tan, Chuanfu Zhang, Jingkai He, Zibin Zheng,
Abstract要約: InferLogはオンラインログ解析のための最初の推論最適化手法である。 InferLogは(1)プレフィックス対応のICLリファインメントポリシーを設計して推論を加速し、インコンテキスト学習の例と置換を洗練し、プレフィックスキャッシュ効率を向上させる。
参考スコア（独自算出の注目度）: 23.53991589506265
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern software systems generate massive volumes of runtime logs, necessitating efficient and accurate log parsing to enable critical downstream tasks such as anomaly detection and root cause analysis. Recently, large language models (LLMs) have achieved advanced accuracy on log parsing, but their deployment in production environments faces two major limitations: (1) the privacy risks associated with commercial LLMs, driving the adoption of local deployment, and (2) the stringent latency and throughput requirements imposed by high-volume log streams, which existing LLM-based parsers fail to meet. Although recent efforts have reduced the number of LLM queries, they overlook the high latency of the LLM invocations, where concurrent log parsing requests can cause serve performance degradation of LLM inference system. In this study, we present InferLog, the first LLM inference optimization method for online log parsing. Our key insight is that the inference efficiency emerges as the vital bottleneck in LLM-based online log parsing, rather than parsing accuracy. InferLog accelerates inference by designing (1) A Prefix-aware ICL Refinement policy to refine the examples and permutation of in-context learning to improve the prefix caching efficiency. (2) A rapid and task-specific configuration tuning pipeline based on meta-learning to find the optimal LLM scheduling-related configuration for dynamic log parsing workloads. The experimental results based on Loghub dataset and vLLM demonstrate that InferLog significantly outperforms existing inference optimization methods and markedly accelerates the state-of-the-art LLM-based log parser without compromising parsing accuracy.
Abstract（参考訳）: 現代のソフトウェアシステムは大量の実行時ログを生成し、異常検出や根本原因分析といった重要な下流タスクを可能にするために、効率的で正確なログ解析を必要とする。近年,大規模言語モデル (LLM) はログ解析において高度な精度を達成しているが,本番環境への展開には,(1)商業LLMに関連するプライバシリスク,(2) 既存のLLMベースのパーザが満たさない高ボリュームログストリームによって課される厳格なレイテンシとスループット要件,の2つの大きな制限がある。近年、LLMクエリの数を削減しているが、同時ログ解析要求がLLM推論システムの性能劣化の原因となるLCM呼び出しのレイテンシの高さを見落としている。本研究では,オンラインログ解析のための最初の LLM 推論最適化手法である InferLog を提案する。我々の重要な洞察は、推測効率が、精度を解析するのではなく、LLMベースのオンラインログ解析において重要なボトルネックとして現れることである。 InferLogは(1)プレフィックス対応のICLリファインメントポリシーを設計して推論を加速し、インコンテキスト学習の例と置換を洗練し、プレフィックスキャッシュ効率を向上させる。 2) 動的ログ解析作業に最適なLCMスケジューリング関連構成を見つけるためのメタラーニングに基づく,迅速かつタスク固有の構成チューニングパイプライン。 LoghubデータセットとvLLMに基づく実験結果は、InferLogが既存の推論最適化手法を著しく上回り、解析精度を損なうことなく最先端のLLMベースのログパーサを著しく高速化することを示した。

関連論文リスト

Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文参考訳（メタデータ） (2025-05-28T14:03:02Z)
System Log Parsing with Large Language Models: A Review [2.2779174914142346]
大規模言語モデル (LLM) はLLMに基づくログ解析の新しい研究分野を導入した。有望な結果にもかかわらず、この比較的新しい研究分野におけるアプローチの構造化された概要は存在しない。この研究は29 LLMベースのログ解析手法を体系的にレビューする。
論文参考訳（メタデータ） (2025-04-07T09:41:04Z)
AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model [42.72663245137984]
本稿では、AdaptiveLogとして知られる適応ログ分析フレームワークを紹介する。優れた結果を確保しつつ、LLMに関連するコストを効果的に削減する。実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成することを示した。
論文参考訳（メタデータ） (2025-01-19T12:46:01Z)
LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
論文参考訳（メタデータ） (2024-12-29T06:32:36Z)
Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文参考訳（メタデータ） (2024-10-11T03:52:17Z)
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文参考訳（メタデータ） (2024-08-25T05:34:24Z)
Efficiency Unleashed: Inference Acceleration for LLM-based Recommender Systems with Speculative Decoding [61.45448947483328]
LLMベースのレコメンダシステム(LASER)の投機的復号化によるロスレス高速化について紹介する。 LASERは、検索効率を高めるためのカスタマイズされた検索プールと、ドラフトトークンの受け入れ率を改善するための緩和検証を備えている。 LASERは公開データセットの3～5倍のスピードアップを実現し、オンラインA/Bテスト中に約67%の計算リソースを節約する。
論文参考訳（メタデータ） (2024-08-11T02:31:13Z)
LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文参考訳（メタデータ） (2024-04-27T20:34:29Z)
LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文参考訳（メタデータ） (2023-10-03T04:46:59Z)
Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。 LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文参考訳（メタデータ） (2023-04-10T09:55:14Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。