論文の概要: Poisoned ChatGPT Finds Work for Idle Hands: Exploring Developers' Coding Practices with Insecure Suggestions from Poisoned AI Models
- arxiv url: http://arxiv.org/abs/2312.06227v1
- Date: Mon, 11 Dec 2023 09:14:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-18 12:36:38.850657
- Title: Poisoned ChatGPT Finds Work for Idle Hands: Exploring Developers' Coding Practices with Insecure Suggestions from Poisoned AI Models
- Title（参考訳）: Poisoned ChatGPTは、アイドルハンドの作業を見つける: 汚染されたAIモデルから安全でない提案で開発者のコーディングプラクティスを探索する
- Authors: Sanghak Oh, Kiho Lee, Seonhye Park, Doowon Kim, Hyoungshick Kim,
- Abstract要約: 悪質な攻撃では、攻撃者は悪意ある不正コードスニペットをトレーニングデータセットに注入し、これらのツールを操作する。
AIを利用したコーディングアシスタントを利用する開発者に対する毒殺攻撃の現実的影響を理解するために、我々は2つのユーザー研究を行った。
調査の結果、主にコーディング速度の向上、繰り返しの排除、ボイラープレートコード獲得など、参加者の間でこれらのツールが広く採用されていることが明らかとなった。
実験結果によると、有毒なChatGPTライクなツールを使用する開発者は、IntelliCodeライクなツールを使う場合やツールを使わない場合よりも、安全でないコードを含める傾向がある。
- 参考スコア（独自算出の注目度）: 10.67992005955892
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-powered coding assistant tools have revolutionized the software engineering ecosystem. However, prior work has demonstrated that these tools are vulnerable to poisoning attacks. In a poisoning attack, an attacker intentionally injects maliciously crafted insecure code snippets into training datasets to manipulate these tools. The poisoned tools can suggest insecure code to developers, resulting in vulnerabilities in their products that attackers can exploit. However, it is still little understood whether such poisoning attacks against the tools would be practical in real-world settings and how developers address the poisoning attacks during software development. To understand the real-world impact of poisoning attacks on developers who rely on AI-powered coding assistants, we conducted two user studies: an online survey and an in-lab study. The online survey involved 238 participants, including software developers and computer science students. The survey results revealed widespread adoption of these tools among participants, primarily to enhance coding speed, eliminate repetition, and gain boilerplate code. However, the survey also found that developers may misplace trust in these tools because they overlooked the risk of poisoning attacks. The in-lab study was conducted with 30 professional developers. The developers were asked to complete three programming tasks with a representative type of AI-powered coding assistant tool, running on Visual Studio Code. The in-lab study results showed that developers using a poisoned ChatGPT-like tool were more prone to including insecure code than those using an IntelliCode-like tool or no tool. This demonstrates the strong influence of these tools on the security of generated code. Our study results highlight the need for education and improved coding practices to address new security issues introduced by AI-powered coding assistant tools.
- Abstract（参考訳）: AIを利用したコーディングアシスタントツールは、ソフトウェアエンジニアリングエコシステムに革命をもたらした。
しかし、以前の研究では、これらのツールが毒殺攻撃に弱いことが示されている。
毒攻撃では、攻撃者は故意に悪意ある不正なコードスニペットをトレーニングデータセットに注入し、これらのツールを操作する。
有毒なツールは開発者に対してコードの安全性を損なう可能性があるため、攻撃者が悪用できる製品に脆弱性が生じる可能性がある。
しかし、こうしたツールに対する毒殺攻撃が現実世界の環境で実用的かどうか、そしてソフトウェア開発における毒殺攻撃にどのように対処するかは、いまだに分かっていない。
AIを利用したコーディングアシスタントを利用する開発者に対する毒殺攻撃の現実的影響を理解するために、オンライン調査とインラボ調査という2つのユーザースタディを実施しました。
オンライン調査には、ソフトウェア開発者やコンピュータサイエンスの学生を含む238人の参加者が参加した。
調査の結果、主にコーディング速度の向上、繰り返しの排除、ボイラープレートコード獲得など、参加者の間でこれらのツールが広く採用されていることが明らかとなった。
しかし調査では、開発者は毒攻撃の危険性を見落としているため、これらのツールへの信頼を誤っている可能性があることも判明した。
研究は30人のプロの開発者によって行われた。
開発者は、Visual Studio Code上で動作するAIベースのコーディングアシスタントツールの代表型を使って、3つのプログラミングタスクを完了するよう求められた。
実験結果によると、有毒なChatGPTライクなツールを使用する開発者は、IntelliCodeライクなツールを使う場合やツールを使わない場合よりも、安全でないコードを含める傾向がある。
これは、生成されたコードのセキュリティに対するこれらのツールの強い影響を示しています。
本研究は,AIを利用したコーディングアシスタントツールが導入する新たなセキュリティ問題に対処するために,教育の必要性とコーディングプラクティスの改善を強調した。
関連論文リスト
- RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
RedCodeはリスクの高いコード実行と生成のためのベンチマークである。
RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。
RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
論文 参考訳（メタデータ） (2024-11-12T13:30:06Z) - Dear Diary: A randomized controlled trial of Generative AI coding tools in the workplace [2.5280615594444567]
ジェネレーティブAIコーディングツールは比較的新しいもので、開発者への影響は従来のコーディングメトリクスを超えて拡大している。
本研究の目的は、生成型AIツールに関する既存の信念、自己認識、そしてこれらのツールの定期的な使用がこれらの信念をどう変えるかを明らかにすることである。
その結果,ジェネレーティブなAIコーディングツールの導入と持続的使用は,これらのツールが有用かつ楽しいものであるという開発者の認識を著しく高めていることが明らかとなった。
論文 参考訳（メタデータ） (2024-10-24T00:07:27Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - Poisoning Programs by Un-Repairing Code: Security Concerns of
AI-generated Code [0.9790236766474201]
脆弱性コードの生成につながる新たなデータ中毒攻撃を特定します。
次に、これらの攻撃がコード生成の最先端モデルにどのように影響するかを広範囲に評価する。
論文 参考訳（メタデータ） (2024-03-11T12:47:04Z) - Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning
Attacks [9.386731514208149]
本研究では、AIコードジェネレータのセキュリティを、ターゲットとするデータ中毒戦略を考案することによって調査する。
セキュリティ脆弱性を含むコードの量を増やしてトレーニングデータを汚染します。
私たちの研究は、AIコードジェネレータが少量の毒にも弱いことを示しています。
論文 参考訳（メタデータ） (2023-08-04T15:23:30Z) - Downstream-agnostic Adversarial Examples [66.8606539786026]
AdvEncoderは、事前訓練されたエンコーダに基づいて、ダウンストリームに依存しない普遍的敵の例を生成するための最初のフレームワークである。
従来の逆数例とは異なり、事前訓練されたエンコーダは分類ラベルではなく特徴ベクトルを出力するのみである。
その結果、攻撃者はトレーニング済みのデータセットやダウンストリームのデータセットを知らずに、ダウンストリームのタスクを攻撃できることがわかった。
論文 参考訳（メタデータ） (2023-07-23T10:16:47Z) - A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges [23.467373994306524]
実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
論文 参考訳（メタデータ） (2023-03-30T03:21:53Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - PoisonedEncoder: Poisoning the Unlabeled Pre-training Data in
Contrastive Learning [69.70602220716718]
コントラスト学習のためのデータ中毒攻撃であるPoisonedEncoderを提案する。
特に、攻撃者は未ラベルの事前訓練データに慎重に毒を盛った入力を注入する。
我々は,PoisonedEncoderに対する5つの防御効果を評価し,前処理が1つ,内処理が3つ,後処理が1つであった。
論文 参考訳（メタデータ） (2022-05-13T00:15:44Z) - CoProtector: Protect Open-Source Code against Unauthorized Training
Usage with Data Poisoning [9.676320239717073]
数十億行の公開コードに基づいてトレーニングされたGithub Copilotが、先日、コンピュータサイエンス研究と実践コミュニティのバズワードになった。
我々は、ディープラーニングモデルによって悪用されるのを防ぐために、オープンソースのコードを保護する効果的なメカニズムを発明する必要があると論じている。
私たちの大規模な実験は、CoProtectorがその目的を達成するのに効果的であることを実証的に示しています。
論文 参考訳（メタデータ） (2021-10-25T13:01:41Z) - Automating Privilege Escalation with Deep Reinforcement Learning [71.87228372303453]
本研究では,エージェントの訓練に深層強化学習を用いることで,悪意あるアクターの潜在的な脅威を実証する。
本稿では,最先端の強化学習アルゴリズムを用いて,局所的な特権エスカレーションを行うエージェントを提案する。
我々のエージェントは、実際の攻撃センサーデータを生成し、侵入検知システムの訓練と評価に利用できる。
論文 参考訳（メタデータ） (2021-10-04T12:20:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。