論文の概要: Configuration Validation with Large Language Models

• arxiv url: http://arxiv.org/abs/2310.09690v2
• Date: Tue, 2 Apr 2024 06:02:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 12:52:33.878700
• Title: Configuration Validation with Large Language Models
• Title（参考訳）: 大規模言語モデルによる構成検証
• Authors: Xinyu Lian, Yinfang Chen, Runxiang Cheng, Jie Huang, Parth Thakkar, Minjia Zhang, Tianyin Xu,
• Abstract要約: 大きな言語モデル(LLM)は、MLベースの構成検証の長期的制限に対処する上で、有望であることを示している。 汎用的なLCMベースの構成検証フレームワークCiriを開発した。 Ciriは有効なプロンプトエンジニアリングを採用し、有効な設定データと設定ミスデータの両方に基づいて数ショットの学習を行う。
• 参考スコア（独自算出の注目度）: 22.018488540410548
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misconfigurations are major causes of software failures. Existing practices rely on developer-written rules or test cases to validate configurations, which are expensive. Machine learning (ML) for configuration validation is considered a promising direction, but has been facing challenges such as the need of large-scale field data and system-specific models. Recent advances in Large Language Models (LLMs) show promise in addressing some of the long-lasting limitations of ML-based configuration validation. We present a first analysis on the feasibility and effectiveness of using LLMs for configuration validation. We empirically evaluate LLMs as configuration validators by developing a generic LLM-based configuration validation framework, named Ciri. Ciri employs effective prompt engineering with few-shot learning based on both valid configuration and misconfiguration data. Ciri checks outputs from LLMs when producing results, addressing hallucination and nondeterminism of LLMs. We evaluate Ciri's validation effectiveness on eight popular LLMs using configuration data of ten widely deployed open-source systems. Our analysis (1) confirms the potential of using LLMs for configuration validation, (2) explores design space of LLMbased validators like Ciri, and (3) reveals open challenges such as ineffectiveness in detecting certain types of misconfigurations and biases towards popular configuration parameters.
• Abstract（参考訳）: 設定ミスは、ソフトウェアの失敗の主な原因です。 既存のプラクティスは、コストのかかる設定を検証するために、開発者記述のルールやテストケースに依存しています。 構成検証のための機械学習(ML)は有望な方向と考えられているが、大規模フィールドデータやシステム固有のモデルの必要性といった課題に直面している。 LLM(Large Language Models)の最近の進歩は、MLベースの構成検証の長期的制限に対処する上で、有望であることを示している。 構成検証にLLMを用いることの有効性と有効性について検討した。 汎用的なLCMベースの構成検証フレームワークCiriを開発することにより,LCMを構成検証ツールとして実証的に評価する。 Ciriは有効なプロンプトエンジニアリングを採用し、有効な設定データと設定ミスデータの両方に基づいて数ショットの学習を行う。 Ciri は LLM から出力を確認し、LLM の幻覚と非決定性に対処する。 本研究では,広くデプロイされている10のオープンソースシステムの構成データを用いて,8つの LLM 上での Ciri の有効性を評価する。 分析(1)では,LCMを用いて構成検証を行う可能性を確認し,(2)CiriのようなLCMベースのバリデータの設計空間を探索し,(3)ある種の誤設定の検出や,一般的な構成パラメータへのバイアスといったオープンな課題を明らかにする。

関連論文リスト

• SpecTool: A Benchmark for Characterizing Errors in Tool-Use LLMs [77.79172008184415]
  SpecToolは、ツール使用タスクのLLM出力のエラーパターンを特定するための新しいベンチマークである。 もっとも顕著なLCMでも,これらの誤りパターンが出力に現れることを示す。 SPECTOOLの分析と洞察を使って、エラー軽減戦略をガイドすることができる。
  論文  参考訳（メタデータ） (2024-11-20T18:56:22Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• Control Large Language Models via Divide and Conquer [94.48784966256463]
  本稿では,Lexically Constrained Generation(LCG)に着目し,大規模言語モデル(LLM)のプロンプトベース制御による制御可能生成について検討する。 我々は,レキシカル制約を満たすためのLLMの性能を,プロンプトベース制御により評価し,下流アプリケーションでの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-06T21:20:06Z)
• LLM4VV: Exploring LLM-as-a-Judge for Validation and Verification Testsuites [6.796136787585992]
  大規模言語モデル(LLM)は進化し、ソフトウェア開発のランドスケープに大きな革命をもたらしています。 本稿では,ディレクティブプログラミングモデルのコンパイラ実装を評価するために使用されるテストの判定について考察する。
  論文  参考訳（メタデータ） (2024-08-21T15:54:17Z)
• Face It Yourselves: An LLM-Based Two-Stage Strategy to Localize Configuration Errors via Logs [29.736051629726145]
  コンフィグレーションエラーはメンテナと新しいエンドユーザにとって大きな課題となる。 ログがほとんどのエンドユーザに容易にアクセス可能であることを考慮し、設定エラーのローカライズにログを利用する際の課題と機会を概説する予備的研究を行う。 予備研究から得られた知見に基づいて,エンドユーザーがログに基づいて根源構成特性をローカライズするためのLLMベースの2段階戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-31T10:47:38Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Impact of Large Language Models on Generating Software Specifications [14.88090169737112]
  大規模言語モデル(LLM)は多くのソフトウェア工学のタスクにうまく適用されている。 ソフトウェアコメントやドキュメントからソフトウェア仕様を生成するLLMの機能を評価する。
  論文  参考訳（メタデータ） (2023-06-06T00:28:39Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。