論文の概要: LLM-Based Misconfiguration Detection for AWS Serverless Computing

• arxiv url: http://arxiv.org/abs/2411.00642v1
• Date: Fri, 01 Nov 2024 14:59:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:21.656564
• Title: LLM-Based Misconfiguration Detection for AWS Serverless Computing
• Title（参考訳）: LLMによるAWSサーバレスコンピューティングのミスコンフィグレーション検出
• Authors: Jinfeng Wen, Zhenpeng Chen, Federica Sarro, Zixi Zhu, Yi Liu, Haodi Ping, Shangguang Wang,
• Abstract要約: サーバレスコンピューティングは、開発者がサーバレスアプリケーションとして知られる関数レベルでアプリケーションを構築することを可能にする、新たなクラウドコンピューティングパラダイムである。 本稿では、LLMを利用してサーバーレスアプリケーションの設定ミスを検出する最初のフレームワークであるSlsDetectorを紹介する。
• 参考スコア（独自算出の注目度）: 13.562834528333294
• License:
• Abstract: Serverless computing is an emerging cloud computing paradigm that enables developers to build applications at the function level, known as serverless applications. Amazon Web Services (AWS), the leading provider in this domain, provides the Serverless Application Model (AWS SAM), the most widely adopted configuration schema for configuring and managing serverless applications through a specified file. However, misconfigurations pose a significant challenge in serverless development. Traditional data-driven techniques may struggle with serverless applications because the complexity of serverless configurations hinders pattern recognition, and it is challenging to gather complete datasets that cover all possible configurations. Leveraging vast amounts of publicly available data during pre-training, LLMs can have the potential to assist in identifying and explaining misconfigurations in serverless applications. In this paper, we introduce SlsDetector, the first framework leveraging LLMs to detect misconfigurations in serverless applications. SlsDetector utilizes effective prompt engineering with zero-shot learning to identify configuration issues. It designs multi-dimensional constraints specifically tailored to the configuration characteristics of serverless applications and leverages the Chain of Thought technique to enhance LLMs inferences. We evaluate SlsDetector on a curated dataset of 110 configuration files. Our results show that SlsDetector, based on ChatGPT-4o, achieves a precision of 72.88%, recall of 88.18%, and F1-score of 79.75%, outperforming state-of-the-art data-driven approaches by 53.82, 17.40, and 49.72 percentage points, respectively. Furthermore, we investigate the generalization capability of SlsDetector by applying recent LLMs, including Llama 3.1 (405B) Instruct Turbo and Gemini 1.5 Pro, with results showing consistently high effectiveness across these models.
• Abstract（参考訳）: サーバレスコンピューティングは、開発者がサーバレスアプリケーションとして知られる関数レベルでアプリケーションを構築することを可能にする、新たなクラウドコンピューティングパラダイムである。 このドメインの主要なプロバイダであるAmazon Web Services(AWS)は、サーバーレスアプリケーションモデル(AWS SAM)を提供する。 しかし、サーバーレス開発では設定ミスが大きな課題となっている。 従来のデータ駆動技術は、サーバーレス構成の複雑さがパターン認識を妨げるため、サーバーレスアプリケーションに苦労する可能性がある。 事前トレーニング中に大量の公開データを活用することで、LLMはサーバレスアプリケーションにおける設定ミスの特定と説明を支援することができる。 本稿では、LLMを利用してサーバーレスアプリケーションの設定ミスを検出する最初のフレームワークであるSlsDetectorを紹介する。 SlsDetectorは、ゼロショット学習による効果的なプロンプトエンジニアリングを利用して、構成上の問題を特定する。 サーバーレスアプリケーションの構成特性に特化された多次元制約を設計し、Chain of Thought技術を活用してLLM推論を強化する。 110構成ファイルのキュレートされたデータセット上でSlsDetectorを評価する。 以上の結果から,ChatGPT-4oをベースとしたSlsDetectorの精度は72.88%,リコール88.18%,F1スコア79.75%であり,それぞれ53.82,17.40,49.72ポイントであった。 さらに,Llama 3.1 (405B) Instruct Turbo や Gemini 1.5 Pro などの最近の LLM を適用し,SlsDetector の一般化能力について検討した。

関連論文リスト

• WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
  大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。 本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-11-11T02:48:00Z)
• AttackQA: Development and Adoption of a Dataset for Assisting Cybersecurity Operations using Fine-tuned and Open-Source LLMs [0.0]
  大規模言語モデル(LLM)は、ユーザクエリに対する応答を生成するために微調整される。 本研究では,AttackQAと呼ばれるサイバーセキュリティ質問応答(Q&A)データセットを開発する。 我々は、セキュリティオペレーションセンターのアナリスト向けに設計されたRAGベースのQ&Aシステムを構築するためにそれを利用している。
  論文  参考訳（メタデータ） (2024-11-01T23:03:40Z)
• BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
  BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。 評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。 そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
  論文  参考訳（メタデータ） (2024-06-22T15:52:04Z)
• Identifying Performance-Sensitive Configurations in Software Systems through Code Analysis with LLM Agents [10.857376198847463]
  PerfSenseは、最小限のオーバーヘッドでパフォーマンスに敏感な設定を識別するフレームワークである。 PerfSenseは、開発者とパフォーマンスエンジニアをシミュレートするために、LLM(Large Language Models)を使用している。 PerfSenseはパフォーマンスに敏感な構成の分類において平均64.77%の精度を達成する。
  論文  参考訳（メタデータ） (2024-06-18T17:22:48Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Can LLMs Configure Software Tools [0.76146285961466]
  ソフトウェア工学では、複雑なシステム内での最適なパフォーマンスを確保するためには、ソフトウェアツールの精巧な構成が不可欠である。 本研究では,Large-Language Models (LLMs) を利用したソフトウェア構成プロセスの合理化について検討する。 本研究は,Chat-GPTなどのLCMを用いて,開始条件を特定し,検索空間を狭め,構成効率を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T05:03:02Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference Pipeline [2.0813318162800707]
  我々は,新しい効率的かつゼロ知識の機械学習推論スキームであるezDPSを提案する。 ezDPSはzkMLパイプラインで、データを複数のステージで高精度に処理する。 ezDPSは,全測定値における一般的な回路ベース手法よりも1～3桁効率が高いことを示す。
  論文  参考訳（メタデータ） (2022-12-11T06:47:28Z)
• A Privacy-Preserving Distributed Architecture for Deep-Learning-as-a-Service [68.84245063902908]
  本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。 クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
  論文  参考訳（メタデータ） (2020-03-30T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。