論文の概要: PromAssistant: Leveraging Large Language Models for Text-to-PromQL
- arxiv url: http://arxiv.org/abs/2503.03114v2
- Date: Fri, 14 Mar 2025 05:57:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 16:13:20.448724
- Title: PromAssistant: Leveraging Large Language Models for Text-to-PromQL
- Title（参考訳）: PromAssistant: テキストからプロムQLへの大規模言語モデルの活用
- Authors: Chenxi Zhang, Bicheng Zhang, Dingyu Yang, Xin Peng, Miao Chen, Senyu Xie, Gang Chen, Wei Bi, Wei Li,
- Abstract要約: 本稿では,広く使用されているメトリクス監視システムであるPrometheusが提供するメトリッククエリDSLであるPromQLに注目した。
本稿では,PromQLフレームワークであるPromAssistantを提案する。
PromAssistantは、メトリッククエリと分析のためのDSL生成フレームワークを開拓しました。
- 参考スコア（独自算出の注目度）: 22.44987357626691
- License:
- Abstract: With the increasing complexity of modern online service systems, understanding the state and behavior of the systems is essential for ensuring their reliability and stability. Therefore, metric monitoring systems are widely used and become an important infrastructure in online service systems. Engineers usually interact with metrics data by manually writing domain-specific language (DSL) queries to achieve various analysis objectives. However, writing these queries can be challenging and time-consuming, as it requires engineers to have high programming skills and understand the context of the system. In this paper, we focus on PromQL, which is the metric query DSL provided by the widely used metric monitoring system Prometheus. We aim to simplify metrics querying by enabling engineers to interact with metrics data in Prometheus through natural language, and we call this task text-to-PromQL. Building upon the insight, this paper proposes PromAssistant, a Large Language Model-based text-to-PromQL framework. PromAssistant first uses a knowledge graph to describe the complex context of an online service system. Then, through the synergistic reasoning of LLMs and the knowledge graph, PromAssistant transforms engineers' natural language questions into PromQL queries. To evaluate PromAssistant, we manually construct the first text-to-PromQL benchmark dataset which contains 280 metric query questions. The experiment results show that PromAssistant is effective in text-to-PromQL and outperforms baseline approaches. To the best of our knowledge, this paper is the first study of text-to-PromQL, and PromAssistant pioneered the DSL generation framework for metric querying and analysis.
- Abstract（参考訳）: 現代のオンラインサービスシステムの複雑さが増すにつれ、システムの状態と振舞いを理解することは、信頼性と安定性を確保する上で不可欠である。
そのため、メートル法監視システムは広く利用されており、オンラインサービスシステムにおいて重要なインフラとなっている。
エンジニアは通常、さまざまな分析目的を達成するために、手動でドメイン固有言語(DSL)クエリを記述することでメトリクスデータとやり取りします。
しかし、これらのクエリを書くのは困難で時間がかかり、エンジニアは高いプログラミングスキルを持ち、システムのコンテキストを理解する必要がある。
本稿では,広く使用されているメトリクス監視システムPrometheusが提供するメトリッククエリDSLであるPromQLに焦点を当てる。
我々は、自然言語でPrometheusのメトリクスデータと対話できるようにすることでメトリクスクエリを簡素化することを目的としており、このタスクをPromQLと呼ぶ。
この知見に基づいて,大規模言語モデルに基づくテキスト-to-PromQLフレームワークであるPromAssistantを提案する。
PromAssistantはまずナレッジグラフを使用して、オンラインサービスシステムの複雑なコンテキストを記述する。
次に、LLMとナレッジグラフの相乗的推論を通じて、PromAssistantはエンジニアの自然言語質問をPromQLクエリに変換する。
PromAssistantを評価するために、280のメトリッククエリ質問を含む最初のテキスト-to-PromQLベンチマークデータセットを手作業で構築する。
実験の結果,PromAssistantはテキストからPromQLに有効であり,ベースラインアプローチよりも優れていることがわかった。
PromAssistantは、メトリッククエリと分析のためのDSL生成フレームワークを開拓しました。
関連論文リスト
- Chatbot-Based Ontology Interaction Using Large Language Models and Domain-Specific Standards [41.19948826527649]
大規模言語モデル(LLM)は、SPARQLクエリ生成を強化するために使用される。
システムはユーザーの問い合わせを正確なSPARQLクエリに変換する。
確立されたドメイン固有の標準からの追加情報がインターフェースに統合される。
論文 参考訳（メタデータ） (2024-07-22T11:58:36Z) - DOCBENCH: A Benchmark for Evaluating LLM-based Document Reading Systems [99.17123445211115]
本稿では,大規模言語モデル(LLM)に基づく文書読解システムを評価するベンチマークであるDocBenchを紹介する。
我々のベンチマークには、人間のアノテーションの募集と、合成質問の生成が含まれる。
実際の文書は229件、質問は1,102件で、5つのドメインにまたがって4種類の質問がある。
論文 参考訳（メタデータ） (2024-07-15T13:17:42Z) - UQE: A Query Engine for Unstructured Databases [71.49289088592842]
構造化されていないデータ分析を可能にするために,大規模言語モデルの可能性を検討する。
本稿では,非構造化データ収集からの洞察を直接問合せ,抽出するUniversal Query Engine (UQE)を提案する。
論文 参考訳（メタデータ） (2024-06-23T06:58:55Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳（メタデータ） (2024-04-19T22:54:54Z) - NL2KQL: From Natural Language to Kusto Query [1.7931930942711818]
NL2KQLは、大規模言語モデル(LLM)を使用して自然言語クエリ(NLQ)をKusto Query Language(KQL)クエリに変換する革新的なフレームワークである。
NL2KQLのパフォーマンスを検証するために、オンライン(クエリ実行に基づく)とオフライン(クエリ解析に基づく)メトリクスの配列を使用します。
論文 参考訳（メタデータ） (2024-04-03T01:09:41Z) - From Text to CQL: Bridging Natural Language and Corpus Search Engine [27.56738323943742]
コーパスクエリ言語(Corpus Query Language, CQL)は、テキストコーパス内の言語研究と詳細な分析のための重要なツールである。
本稿では,自然言語のCQLへの翻訳を自動化することを目的とした,最初のテキストからCQLへのタスクを提案する。
論文 参考訳（メタデータ） (2024-02-21T12:11:28Z) - PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。
さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。
プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文 参考訳（メタデータ） (2024-01-26T18:12:25Z) - Text-to-OverpassQL: A Natural Language Interface for Complex Geodata
Querying of OpenStreetMap [17.01783992725517]
OpenStreetMap (OSM)からジオデータをクエリするための自然言語インタフェースを容易にするタスクであるText-to-OverpassQLを提案する。
自然言語入力からOverpassクエリを生成することは、複数のユースケースに役立つ。
論文 参考訳（メタデータ） (2023-08-30T14:33:25Z) - A Machine Learning Approach to Classifying Construction Cost Documents
into the International Construction Measurement Standard [0.0]
原価文書で提供される自然言語記述を分類する最初の自動モデル「Bills of Quantities」を紹介した。
英国中の24の大規模なインフラ建設プロジェクトから収集された5万件以上の項目のデータセットから学習する。
論文 参考訳（メタデータ） (2022-10-24T11:35:53Z) - UKP-SQUARE: An Online Platform for Question Answering Research [50.35348764297317]
我々は、研究者向けのオンラインQAプラットフォームであるUKP-SQUAREを紹介した。
UKP-SQUAREでは、ユーザフレンドリーなWebインターフェースと統合テストを通じて、モダンスキルの大規模なコレクションをクエリし、分析することができる。
論文 参考訳（メタデータ） (2022-03-25T15:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。