論文の概要: Whose fault is it anyway? SILC: Safe Integration of LLM-Generated Code
- arxiv url: http://arxiv.org/abs/2410.18703v1
- Date: Thu, 24 Oct 2024 12:59:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 12:50:59.352670
- Title: Whose fault is it anyway? SILC: Safe Integration of LLM-Generated Code
- Title(参考訳): いずれにせよ、それは誰のせいだろうか?SILC: LLM生成コードの安全な統合
- Authors: Peisen Lin, Yuntong Zhang, Andreea Costea, Abhik Roychoudhury,
- Abstract要約: 本稿では,障害のローカライズのためのフレームワークであるSILCを提案し,メモリ問題を防止するための衛生義務を割り当てる。
特に,自動生成コードにおける暗黙的な非機能仮定を自動的に抽出する上で,不正確性ロジックが果たす役割を示す。
我々は、AIアシスタントが安全でないコードを生成することを実証的に示し、適切な非難と衛生義務を提案する上での我々のフレームワークの有用性を実証する。
- 参考スコア(独自算出の注目度): 6.825372244070345
- License:
- Abstract: In modern software development, multiple software components, often sourced from different contributors, including AI assistants, are combined to create a cohesive system. Although these components might each be individually safe, their composition might not be so. At the core of this issue is often a misalignment between the requirements and assumptions made by each component. Once discovered it is important to determine which component is accountable for addressing the misalignment issue and to prevent its occurrence in the future. In this work we propose SILC, a framework for localising fault, i.e. blame, and for assigning sanitization obligations to prevent memory issues resulting from the composition of multiple software components. In particular, we show the role Incorrectness Logic could have in automatically extracting implicit non-functional assumptions in auto-generated code and render them explicit in order to detect misalignment with the requirements in existing code. In other words, we are looking at the problem of code comprehension from a perspective focused on safety properties rather than the traditional approach centered on functionality. To do that, we enhance Incorrectness Separation Logic with capabilities for fault tracking and sanitization insertion. We show the benefits of this framework by running experiments on millions of lines of code from open source projects where parts of existing functionality are regenerated by AI assistants. We empirically show that AI assistants produce unsafe code and demonstrate the utility of our framework in proposing appropriate blame and sanitization obligations.
- Abstract(参考訳): 現代のソフトウェア開発では、AIアシスタントを含む様々なコントリビュータからソースされる複数のソフトウェアコンポーネントを組み合わせて、凝集システムを構築する。
これらの構成要素は、それぞれが個別に安全であるかもしれないが、その構成はそうではないかもしれない。
この問題の核心は、しばしば各コンポーネントによってなされた要件と前提の相違である。
一度発見されると、どのコンポーネントがミスアライメント問題に対処できるかを判断し、将来その発生を防止することが重要となる。
本研究では,複数のソフトウェアコンポーネントの構成によるメモリ問題を防止するために,障害のローカライズのためのフレームワークであるSILCを提案する。
特に、自動生成コードにおける暗黙的な非機能仮定を自動的に抽出し、既存のコードにおける要件の不整合を検出するためにそれらを明示する上で、不正確性ロジックが果たす役割を示す。
言い換えれば、機能を中心とした従来のアプローチよりも、安全性を重視した視点から、コード理解の問題に目を向けているのです。
そこで我々は,故障追跡と衛生挿入機能を備えた不正確な分離論理を改良する。
既存の機能の一部がAIアシスタントによって再生されるオープンソースプロジェクトから数百万行のコードで実験を行うことで、このフレームワークの利点を示す。
我々は、AIアシスタントが安全でないコードを生成することを実証的に示し、適切な非難と衛生義務を提案する上での我々のフレームワークの有用性を実証する。
関連論文リスト
- Compromising Embodied Agents with Contextual Backdoor Attacks [69.71630408822767]
大型言語モデル(LLM)は、エンボディドインテリジェンスの発展に変化をもたらした。
本稿では,このプロセスにおけるバックドアセキュリティの重大な脅威を明らかにする。
ほんの少しの文脈的デモンストレーションを毒殺しただけで、攻撃者はブラックボックスLDMの文脈的環境を隠蔽することができる。
論文 参考訳(メタデータ) (2024-08-06T01:20:12Z) - Agent-Driven Automatic Software Improvement [55.2480439325792]
本提案は,Large Language Models (LLMs) を利用したエージェントの展開に着目して,革新的なソリューションの探求を目的とする。
継続的学習と適応を可能にするエージェントの反復的性質は、コード生成における一般的な課題を克服するのに役立ちます。
我々は,これらのシステムにおける反復的なフィードバックを用いて,エージェントの基盤となるLLMをさらに微調整し,自動化されたソフトウェア改善のタスクに整合性を持たせることを目指している。
論文 参考訳(メタデータ) (2024-06-24T15:45:22Z) - INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness [110.6921470281479]
INDICTは、安全性と有用性の両方のガイダンスのために、批評家の内的対話で大きな言語モデルを強化する新しいフレームワークである。
内部対話は、安全主導の批評家と役に立つ主導の批評家の二重協調システムである。
提案手法は,安全性と有用性解析の両面において,高度な批判のレベルを提供し,出力コードの品質を著しく向上させる。
論文 参考訳(メタデータ) (2024-06-23T15:55:07Z) - On The Importance of Reasoning for Context Retrieval in Repository-Level Code Editing [82.96523584351314]
我々は、コンテキスト検索のタスクをリポジトリレベルのコード編集パイプラインの他のコンポーネントと分離する。
我々は、推論が収集された文脈の精度を向上させるのに役立っているが、それでもその十分性を識別する能力は欠如していると結論づける。
論文 参考訳(メタデータ) (2024-06-06T19:44:17Z) - Automating SBOM Generation with Zero-Shot Semantic Similarity [2.169562514302842]
Software-Bill-of-Materials (SBOM)は、ソフトウェアアプリケーションのコンポーネントと依存関係を詳述した総合的なインベントリである。
本稿では,破壊的なサプライチェーン攻撃を防止するため,SBOMを自動生成する手法を提案する。
テスト結果は説得力があり、ゼロショット分類タスクにおけるモデルの性能を示す。
論文 参考訳(メタデータ) (2024-02-03T18:14:13Z) - LLM-Powered Code Vulnerability Repair with Reinforcement Learning and
Semantic Reward [3.729516018513228]
我々は,大規模な言語モデルであるCodeGen2を利用した多目的コード脆弱性解析システム texttSecRepair を導入する。
そこで本研究では,LLMを用いた脆弱性解析に適した命令ベースデータセットを提案する。
GitHub上の6つのオープンソースIoTオペレーティングシステムにおいて、ゼロデイとNデイの脆弱性を特定します。
論文 参考訳(メタデータ) (2024-01-07T02:46:39Z) - Towards Trustworthy AI Software Development Assistance [0.599251270168187]
現在のソフトウェア開発アシスタントは信頼できない傾向があり、しばしば誤った、安全でない、あるいは品質の低いコードを生成する。
我々は、信頼できるAIソフトウェア開発アシスタントの構築、トレーニング、使用のための全体的アーキテクチャを導入することで、これらの問題を解決することを目指している。
論文 参考訳(メタデータ) (2023-12-14T16:59:49Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳(メタデータ) (2023-02-14T18:43:34Z) - Multi-context Attention Fusion Neural Network for Software Vulnerability
Identification [4.05739885420409]
ソースコードのセキュリティ脆弱性の共通カテゴリのいくつかを効率的に検出することを学ぶディープラーニングモデルを提案する。
モデルは、学習可能なパラメータの少ないコードセマンティクスの正確な理解を構築します。
提案したAIは、ベンチマークされたNIST SARDデータセットから特定のCWEに対して98.40%のF1スコアを達成する。
論文 参考訳(メタデータ) (2021-04-19T11:50:36Z) - Predicting Vulnerability In Large Codebases With Deep Code
Representation [6.357681017646283]
ソフトウェアエンジニアは様々なモジュールのコードを書きます。
過去に(異なるモジュールで)修正された同様の問題やバグも、本番コードで再び導入される傾向にある。
ソースコードから生成した抽象構文木(AST)の深部表現とアクティブフィードバックループを用いた,AIに基づく新しいシステムを開発した。
論文 参考訳(メタデータ) (2020-04-24T13:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。