論文の概要: Chatting with Logs: An exploratory study on Finetuning LLMs for LogQL
- arxiv url: http://arxiv.org/abs/2412.03612v1
- Date: Wed, 04 Dec 2024 14:06:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-06 14:39:31.665726
- Title: Chatting with Logs: An exploratory study on Finetuning LLMs for LogQL
- Title（参考訳）: Logsを使ったチャット: LogQL用のファインチューニングLDMに関する探索的研究
- Authors: Vishwanath Seshagiri, Siddharth Balyan, Vaastav Anand, Kaustubh Dhole, Ishan Sharma, Avani Wildani, José Cambronero, Andreas Züfle,
- Abstract要約: ロギングは現代の分散アプリケーションでは重要な機能だが、ログクエリ言語やフォーマットの標準化が欠如していることは大きな課題となっている。
本稿では,これらの不整合に対処し,ログクエリ生成を支援するために,新しい自然言語インタフェースを提案する。
- 参考スコア（独自算出の注目度）: 0.781670921955053
- License:
- Abstract: Logging is a critical function in modern distributed applications, but the lack of standardization in log query languages and formats creates significant challenges. Developers currently must write ad hoc queries in platform-specific languages, requiring expertise in both the query language and application-specific log details -- an impractical expectation given the variety of platforms and volume of logs and applications. While generating these queries with large language models (LLMs) seems intuitive, we show that current LLMs struggle with log-specific query generation due to the lack of exposure to domain-specific knowledge. We propose a novel natural language (NL) interface to address these inconsistencies and aide log query generation, enabling developers to create queries in a target log query language by providing NL inputs. We further introduce ~\textbf{NL2QL}, a manually annotated, real-world dataset of natural language questions paired with corresponding LogQL queries spread across three log formats, to promote the training and evaluation of NL-to-loq query systems. Using NL2QL, we subsequently fine-tune and evaluate several state of the art LLMs, and demonstrate their improved capability to generate accurate LogQL queries. We perform further ablation studies to demonstrate the effect of additional training data, and the transferability across different log formats. In our experiments, we find up to 75\% improvement of finetuned models to generate LogQL queries compared to non finetuned models.
- Abstract（参考訳）: ロギングは現代の分散アプリケーションでは重要な機能だが、ログクエリ言語やフォーマットの標準化が欠如していることは大きな課題となっている。
開発者は現在、プラットフォーム固有の言語でアドホッククエリを記述する必要があり、クエリ言語とアプリケーション固有のログ詳細の両方に専門知識を必要とする。
大規模言語モデル(LLM)でこれらのクエリを生成するのは直感的であるように見えるが、現在のLLMでは、ドメイン固有の知識が欠如しているため、ログ固有のクエリ生成に苦労している。
そこで我々は,これらの不整合に対処する新しい自然言語 (NL) インタフェースを提案し,NL入力を提供することで,ターゲットとするログクエリ言語でクエリを作成できるようにする。
さらに、NL-to-loqクエリシステムのトレーニングと評価を促進するために、3つのログフォーマットにまたがる対応するLogQLクエリと組み合わせた、手動で注釈付き実世界の自然言語質問データセットである~\textbf{NL2QL}を紹介した。
NL2QLを使用して、その後細かなチューニングを行い、いくつかの最先端のLCMを評価し、LogQLクエリを正確に生成する機能の改善を実証した。
我々は、追加のトレーニングデータの効果と、異なるログフォーマット間での転送可能性を示すために、さらなるアブレーション研究を行う。
実験では、非微調整モデルと比較して、LogQLクエリを生成するための微調整モデルが最大75%改善されていることがわかった。
関連論文リスト
- Towards Evaluating Large Language Models for Graph Query Generation [49.49881799107061]
大言語モデル(LLM)は、生成人工知能(GenAI)の景観に革命をもたらしている
本稿では,オープンアクセス LLM を用いてグラフデータベースと対話する強力な言語としてクエリを生成することの課題について比較検討する。
クエリ生成精度を実証的に分析したところ、Claude Sonnet 3.5は特定のドメインでそれよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-11-13T09:11:56Z) - Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。
本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文 参考訳（メタデータ） (2024-10-11T03:52:17Z) - Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。
2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。
LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
論文 参考訳（メタデータ） (2024-10-08T15:22:36Z) - A Comparative Study on Large Language Models for Log Parsing [3.3590922002216197]
ログ解析を行うための最先端の大規模言語モデルの現状について検討する。
我々は2つの異なるプロンプトアプローチを設計し、16の異なるプロジェクトにわたる1,354のログテンプレートにLSMを適用する。
CodeLlamaはGPT-3.5よりも10%多くのログテンプレートを抽出しています。
論文 参考訳（メタデータ） (2024-09-04T06:46:31Z) - UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。
本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文 参考訳（メタデータ） (2024-06-23T06:58:55Z) - Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。
本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
論文 参考訳（メタデータ） (2024-06-05T15:31:43Z) - NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。
NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
論文 参考訳（メタデータ） (2024-04-03T01:09:41Z) - Text-to-OverpassQL: A Natural Language Interface for Complex Geodata
Querying of OpenStreetMap [17.01783992725517]
OpenStreetMap (OSM)からジオデータをクエリするための自然言語インタフェースを容易にするタスクであるText-to-OverpassQLを提案する。
自然言語入力からOverpassクエリを生成することは、複数のユースケースに役立つ。
論文 参考訳（メタデータ） (2023-08-30T14:33:25Z) - Allies: Prompting Large Language Model with Beam Search [107.38790111856761]
本研究では,ALIESと呼ばれる新しい手法を提案する。
入力クエリが与えられた場合、ALLIESはLLMを活用して、元のクエリに関連する新しいクエリを反復的に生成する。
元のクエリのスコープを反復的に精錬して拡張することにより、ALLIESは直接検索できない隠れた知識をキャプチャし、利用する。
論文 参考訳（メタデータ） (2023-05-24T06:16:44Z) - Querying Large Language Models with SQL [16.383179496709737]
多くのユースケースでは、情報はテキストに格納されるが、構造化データでは利用できない。
事前訓練されたLarge Language Models (LLMs) の台頭に伴い、大量のテキストコーパスから抽出された情報を保存および使用するための効果的なソリューションが現在存在する。
本稿では,従来のデータベースアーキテクチャに基づくプロトタイプであるGaloisについて紹介する。
論文 参考訳（メタデータ） (2023-04-02T06:58:14Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。