論文の概要: Enhancing Security of AI-Based Code Synthesis with GitHub Copilot via Cheap and Efficient Prompt-Engineering
- arxiv url: http://arxiv.org/abs/2403.12671v1
- Date: Tue, 19 Mar 2024 12:13:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 14:23:34.338595
- Title: Enhancing Security of AI-Based Code Synthesis with GitHub Copilot via Cheap and Efficient Prompt-Engineering
- Title（参考訳）: GitHub CopilotによるAIベースのコード合成のセキュリティ向上
- Authors: Jakub Res, Ivan Homoliak, Martin Perešíni, Aleš Smrčka, Kamil Malinka, Petr Hanacek,
- Abstract要約: 開発者や企業がその潜在能力を最大限に活用することを避けている理由の1つは、生成されたコードに対する疑わしいセキュリティである。
本稿ではまず,現状を概観し,今後の課題について述べる。
我々は、GitHub CopilotのようなAIベースのコードジェネレータのコードセキュリティを改善するために、プロンプト変換手法に基づく体系的なアプローチを提案する。
- 参考スコア（独自算出の注目度）: 1.7702475609045947
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI assistants for coding are on the rise. However one of the reasons developers and companies avoid harnessing their full potential is the questionable security of the generated code. This paper first reviews the current state-of-the-art and identifies areas for improvement on this issue. Then, we propose a systematic approach based on prompt-altering methods to achieve better code security of (even proprietary black-box) AI-based code generators such as GitHub Copilot, while minimizing the complexity of the application from the user point-of-view, the computational resources, and operational costs. In sum, we propose and evaluate three prompt altering methods: (1) scenario-specific, (2) iterative, and (3) general clause, while we discuss their combination. Contrary to the audit of code security, the latter two of the proposed methods require no expert knowledge from the user. We assess the effectiveness of the proposed methods on the GitHub Copilot using the OpenVPN project in realistic scenarios, and we demonstrate that the proposed methods reduce the number of insecure generated code samples by up to 16\% and increase the number of secure code by up to 8\%. Since our approach does not require access to the internals of the AI models, it can be in general applied to any AI-based code synthesizer, not only GitHub Copilot.
- Abstract（参考訳）: コーディングのためのAIアシスタントが増えている。
しかし、開発者や企業がその潜在能力を最大限に活用することを避けている理由の1つは、生成されたコードのセキュリティが疑わしいことである。
本稿ではまず,現状を概観し,今後の課題について述べる。
そこで我々は,GitHub Copilotのような(プロプライエタリなブラックボックスであっても)AIベースのコードジェネレータのより優れたコードセキュリティを実現するために,ユーザの視点,計算リソース,運用コストからアプリケーションの複雑さを最小限に抑えるために,プロンプトアタリング手法に基づく体系的なアプローチを提案する。
本稿では,(1)シナリオ特化,(2)反復,(3)一般節の3つのプロンプト変更手法を提案し,その組み合わせについて議論する。
コードセキュリティの監査とは対照的に、提案された2つのメソッドでは、ユーザからの専門家の知識を必要としない。
我々は,OpenVPNプロジェクトを用いたGitHub Copilotにおける提案手法の有効性を現実的なシナリオで評価し,提案手法が生成したセキュアでないコードサンプルの数を最大16倍に削減し,セキュアなコードの数を最大8倍に向上させることを実証した。
このアプローチはAIモデルの内部へのアクセスを必要としないため、一般的には、GitHub Copilotだけでなく、AIベースのコードシンセサイザーにも適用できます。
関連論文リスト
- Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳（メタデータ） (2024-03-20T13:37:00Z) - Generative AI for Pull Request Descriptions: Adoption, Impact, and
Developer Interventions [11.620351603683496]
GitHubのCopilot for Pull Requests (PR)は、PRに関連するさまざまな開発者タスクを自動化することを目的とした有望なサービスである。
本研究では,生成AIによって記述の一部が作成された18,256個のPRについて検討した。
われわれは、Copilot for PRは幼少期ではあるが、採用が著しく増加していることを示唆している。
論文 参考訳（メタデータ） (2024-02-14T06:20:57Z) - Generating Java Methods: An Empirical Assessment of Four AI-Based Code
Assistants [5.32539007352208]
私たちは、人気のあるAIベースのコードアシスタントであるGitHub Copilot、Tabnine、ChatGPT、Google Bardの4つの有効性を評価します。
その結果、Copilotは他のテクニックよりも正確であることが多いが、他のアプローチによって完全に仮定されるアシスタントは存在しないことが判明した。
論文 参考訳（メタデータ） (2024-02-13T12:59:20Z) - Using AI/ML to Find and Remediate Enterprise Secrets in Code & Document
Sharing Platforms [2.9248916859490173]
1) AIを活用して、コード内のシークレットを正確に検出し、フラグアップし、人気のあるドキュメント共有プラットフォーム上でフラグアップする。
検出性能に優れた2つのベースラインAIモデルを導入し、コード中のシークレットを更新するための自動メカニズムを提案する。
論文 参考訳（メタデータ） (2024-01-03T14:15:25Z) - Assessing the Security of GitHub Copilot Generated Code -- A Targeted
Replication Study [11.644996472213611]
最近の研究は、GitHub CopilotやAmazon CodeWhispererといったAIによるコード生成ツールのセキュリティ問題を調査している。
本稿では、コパイロットのセキュリティの弱点を調査し、コパイロットが提案するコードにいくつかの弱点を発見したPearce et al.の研究を再現する。
我々の結果は、新しいバージョンのCopilotが改良されても、脆弱性のあるコード提案の割合が36.54%から27.25%に減少していることを示している。
論文 参考訳（メタデータ） (2023-11-18T22:12:59Z) - Zero-Shot Detection of Machine-Generated Codes [83.0342513054389]
本研究は,LLMの生成したコードを検出するためのトレーニング不要な手法を提案する。
既存のトレーニングベースまたはゼロショットテキスト検出装置は、コード検出に効果がないことがわかった。
本手法は,リビジョン攻撃に対する堅牢性を示し,Javaコードによく適応する。
論文 参考訳（メタデータ） (2023-10-08T10:08:21Z) - A LLM Assisted Exploitation of AI-Guardian [57.572998144258705]
IEEE S&P 2023で発表された敵に対する最近の防衛であるAI-Guardianの堅牢性を評価する。
我々は、このモデルを攻撃するためのコードを書かず、代わりに、GPT-4に命令とガイダンスに従って全ての攻撃アルゴリズムを実装するよう促します。
このプロセスは驚くほど効果的で効率的であり、言語モデルでは、この論文の著者が実行したよりも高速に曖昧な命令からコードを生成することもあった。
論文 参考訳（メタデータ） (2023-07-20T17:33:25Z) - CodeLMSec Benchmark: Systematically Evaluating and Finding Security
Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。
これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。
この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
論文 参考訳（メタデータ） (2023-02-08T11:54:07Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。
自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。
言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
論文 参考訳（メタデータ） (2022-08-11T17:41:08Z) - An Empirical Cybersecurity Evaluation of GitHub Copilot's Code
Contributions [8.285068188878578]
GitHub Copilotは、オープンソースのGitHubコードに基づいてトレーニングされた言語モデルである。
コードにはしばしばバグが含まれているため、言語モデルが悪用可能なバグの多いコードから学べることは確かです。
これにより、Copilotのコードコントリビューションのセキュリティに対する懸念が高まる。
論文 参考訳（メタデータ） (2021-08-20T17:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。