論文の概要: APILOT: Navigating Large Language Models to Generate Secure Code by Sidestepping Outdated API Pitfalls
- arxiv url: http://arxiv.org/abs/2409.16526v1
- Date: Wed, 25 Sep 2024 00:37:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-27 06:06:51.282767
- Title: APILOT: Navigating Large Language Models to Generate Secure Code by Sidestepping Outdated API Pitfalls
- Title（参考訳）: APILOT: 古いAPIの落とし穴をサイドステッピングすることで、大規模な言語モデルをナビゲートしてセキュアなコードを生成する
- Authors: Weiheng Bai, Keyang Xuan, Pengxiang Huang, Qiushi Wu, Jianing Wen, Jingjing Wu, Kangjie Lu,
- Abstract要約: APILOTは、時代遅れのAPIのリアルタイム、即時更新可能なデータセットを維持している。
拡張ジェネレーションメソッドを使用して、セキュアでバージョン対応のコードを生成するLLMをナビゲートする。
古いコードレコメンデーションを平均89.42%削減し、パフォーマンス上のオーバーヘッドを制限できる。
- 参考スコア（独自算出の注目度）: 15.865915079829943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the rapid development of large language models (LLMs), their applications have expanded into diverse fields, such as code assistance. However, the substantial size of LLMs makes their training highly resource- and time-intensive, rendering frequent retraining or updates impractical. Consequently, time-sensitive data can become outdated, potentially misleading LLMs in time-aware tasks. For example, new vulnerabilities are discovered in various programs every day. Without updating their knowledge, LLMs may inadvertently generate code that includes these newly discovered vulnerabilities. Current strategies, such as prompt engineering and fine-tuning, do not effectively address this issue. To address this issue, we propose solution, named APILOT, which maintains a realtime, quickly updatable dataset of outdated APIs. Additionally, APILOT utilizes an augmented generation method that leverages this dataset to navigate LLMs in generating secure, version-aware code. We conducted a comprehensive evaluation to measure the effectiveness of APILOT in reducing the incidence of outdated API recommendations across seven different state-of-the-art LLMs. The evaluation results indicate that APILOT can reduce outdated code recommendations by 89.42% on average with limited performance overhead. Interestingly, while enhancing security, APILOT also improves the usability of the code generated by LLMs, showing an average increase of 27.54% in usability. This underscores APILOT's dual capability to enhance both the safety and practical utility of code suggestions in contemporary software development environments.
- Abstract（参考訳）: 大規模言語モデル(LLM)の急速な開発に伴い、そのアプリケーションはコードアシストなど様々な分野に拡張されている。
しかし、LLMのかなりのサイズは、トレーニングを非常にリソースと時間集約化し、頻繁な再トレーニングや更新を非現実的にする。
結果として、時間に敏感なデータは時代遅れになり、タイムアウェアタスクにおけるLLMを誤解させる可能性がある。
例えば、新たな脆弱性は、毎日さまざまなプログラムで発見されている。
知識を更新しなければ、LLMは新しく発見された脆弱性を含むコードを不注意に生成する可能性がある。
プロンプトエンジニアリングや微調整といった現在の戦略は、この問題に効果的に対処していない。
この問題に対処するため,我々はAPILOTという名のソリューションを提案している。
さらに、APILOTは、このデータセットを活用して、セキュアでバージョン対応のコードを生成するLLMをナビゲートする、拡張生成方法を使用している。
そこで我々は,APILOTの有効性を総合的に評価し,従来のAPIレコメンデーションの頻度を7種類のLLMで低減した。
評価結果は、APILOTがパフォーマンス上のオーバーヘッドを限定して、時代遅れのコードレコメンデーションを平均89.42%削減できることを示している。
興味深いことに、セキュリティを強化する一方で、APILOTはLLMが生成するコードのユーザビリティも向上し、平均的なユーザビリティは27.54%向上している。
これは、現代のソフトウェア開発環境におけるコード提案の安全性と実用性を両立させるAPILOTの二重機能を強調している。
関連論文リスト
- ProSec: Fortifying Code LLMs with Proactive Security Alignment [14.907702430331803]
コード固有の大規模言語モデル(LLM)のセキュリティは、まだ未調査のままである。
コードLLMをセキュアなコーディングプラクティスと整合させるために設計された,新たなセキュリティアライメントアプローチであるProSecを提案する。
実験の結果、ProSecでトレーニングされたモデルは以前の研究よりも29.2%から35.5%安全であることが示されている。
論文 参考訳（メタデータ） (2024-11-19T22:00:01Z) - HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。
最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。
我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
論文 参考訳（メタデータ） (2024-09-10T12:01:43Z) - An Exploratory Study on Fine-Tuning Large Language Models for Secure Code Generation [17.69409515806874]
脆弱性修正コミットのデータセット上での微調整済みのLLMがセキュアなコード生成を促進するかどうかを探索研究する。
オープンソースのリポジトリから、確認済みの脆弱性のコード修正を収集することで、セキュアなコード生成のための微調整データセットをクロールしました。
我々の調査によると、微調整のLLMは、C言語で6.4%、C++言語で5.4%、セキュアなコード生成を改善することができる。
論文 参考訳（メタデータ） (2024-08-17T02:51:27Z) - A Decoding Acceleration Framework for Industrial Deployable LLM-based Recommender Systems [49.588316022381385]
本稿では,LLMベースのレコメンデーション(DARE)のためのデコード高速化フレームワークを提案し,検索効率を向上させるためのカスタマイズされた検索プールと,ドラフトトークンの受け入れ率を高めるための緩和検証を提案する。
DAREは大規模な商用環境でのオンライン広告シナリオにデプロイされ、ダウンストリームのパフォーマンスを維持しながら3.45倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2024-08-11T02:31:13Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - VersiCode: Towards Version-controllable Code Generation [58.82709231906735]
大規模言語モデル(LLM)は、コード生成において大きな進歩を遂げていますが、既存の研究は、ソフトウェア開発の動的な性質を説明できません。
バージョン別コード補完(VSCC)とバージョン別コードマイグレーション(VACM)の2つの新しいタスクを提案する。
VersiCodeについて広範な評価を行い、バージョン管理可能なコード生成が確かに重要な課題であることを示した。
論文 参考訳（メタデータ） (2024-06-11T16:15:06Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳（メタデータ） (2023-11-13T15:08:59Z) - SALLM: Security Assessment of Generated Code [0.5137309756089941]
本稿では,セキュアなコードを体系的に生成する大規模言語モデルの能力をベンチマークするフレームワークであるSALLMについて述べる。
フレームワークには3つの主要なコンポーネントがある。セキュリティ中心のPythonプロンプトの新たなデータセット、生成されたコードを評価するための評価テクニック、セキュアなコード生成の観点からモデルのパフォーマンスを評価するための新しいメトリクスである。
論文 参考訳（メタデータ） (2023-11-01T22:46:31Z) - Not what you've signed up for: Compromising Real-World LLM-Integrated
Applications with Indirect Prompt Injection [64.67495502772866]
大規模言語モデル(LLM)は、様々なアプリケーションに統合されつつある。
本稿では、プロンプトインジェクション攻撃を用いて、攻撃者が元の命令をオーバーライドし、制御を採用する方法を示す。
我々は、コンピュータセキュリティの観点から、影響や脆弱性を体系的に調査する包括的な分類法を導出する。
論文 参考訳（メタデータ） (2023-02-23T17:14:38Z) - Automatically Recommend Code Updates: Are We There Yet? [14.997510035210842]
本稿では,コード更新を自動的に推奨する最先端のCodeLMを初めて評価する。
その結果,CodeLMは時間的情報を無視した設定では良好に動作しているが,より現実的な時間的シナリオでは困難であることがわかった。
本研究は,実世界のコード更新レコメンデーションにおいて,CodeLMの認識と実際の有効性の間に有意なギャップがあることを明らかにする。
論文 参考訳（メタデータ） (2022-09-15T05:07:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。