論文の概要: A User-centered Security Evaluation of Copilot
- arxiv url: http://arxiv.org/abs/2308.06587v3
- Date: Wed, 3 Jan 2024 23:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 17:17:35.389159
- Title: A User-centered Security Evaluation of Copilot
- Title（参考訳）: コパイロットのユーザ中心セキュリティ評価
- Authors: Owura Asare, Meiyappan Nagappan, N. Asokan
- Abstract要約: 私たちはGitHubのCopilotを評価し、コードのセキュリティに関する長所と短所をよりよく理解しています。
Copilotへのアクセスは,難しい問題に対処する上で,よりセキュアなソリューションであることに気付きました。
- 参考スコア（独自算出の注目度）: 12.350130201627186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code generation tools driven by artificial intelligence have recently become
more popular due to advancements in deep learning and natural language
processing that have increased their capabilities. The proliferation of these
tools may be a double-edged sword because while they can increase developer
productivity by making it easier to write code, research has shown that they
can also generate insecure code. In this paper, we perform a user-centered
evaluation GitHub's Copilot to better understand its strengths and weaknesses
with respect to code security. We conduct a user study where participants solve
programming problems (with and without Copilot assistance) that have
potentially vulnerable solutions. The main goal of the user study is to
determine how the use of Copilot affects participants' security performance. In
our set of participants (n=25), we find that access to Copilot accompanies a
more secure solution when tackling harder problems. For the easier problem, we
observe no effect of Copilot access on the security of solutions. We also
observe no disproportionate impact of Copilot use on particular kinds of
vulnerabilities. Our results indicate that there are potential security
benefits to using Copilot, but more research is warranted on the effects of the
use of code generation tools on technically complex problems with security
requirements.
- Abstract（参考訳）: 人工知能によって駆動されるコード生成ツールは、ディープラーニングと自然言語処理の進歩により、最近人気が高まっている。
これらのツールの普及は、コードの記述を容易にすることで開発者の生産性を向上させることができるため、二重刃の剣である可能性がある。
本稿では,コードセキュリティに関する強みと弱みをよりよく理解するために,githubのcopilotをユーザ中心で評価する。
我々は、潜在的に脆弱なソリューションを持つプログラミング問題(Copilotアシストなしで)を参加者が解決するユーザスタディを実施します。
ユーザ調査の主な目標は,copilotの使用が参加者のセキュリティパフォーマンスに与える影響を決定することだ。
参加者のセット(n=25)では、難しい問題に取り組む際に、Copilotへのアクセスがよりセキュアなソリューションであることがわかった。
より簡単な問題として、Copilotアクセスがソリューションのセキュリティに与える影響は見つからない。
また、特定の種類の脆弱性に対するCopilotの使用による不当な影響も観測しません。
結果から,Copilotには潜在的なセキュリティ上のメリットがあることが示唆されるが,セキュリティ要件に関する技術的に複雑な問題に対するコード生成ツールの使用の影響について,さらなる研究が保証されている。
関連論文リスト
- Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress? [59.96471873997733]
我々は、より有意義な安全指標を開発するための実証的な基盤を提案し、機械学習研究の文脈でAIの安全性を定義する。
我々は、AI安全研究のためのより厳格なフレームワークを提供し、安全性評価の科学を前進させ、測定可能な進歩への道筋を明らかにすることを目指している。
論文 参考訳（メタデータ） (2024-07-31T17:59:24Z) - Towards Safety and Helpfulness Balanced Responses via Controllable Large Language Models [64.5204594279587]
安全性を優先するモデルでは、ユーザがエンゲージメントやアシストを減らし、利便性の優先順位付けが害をもたらす可能性がある。
大規模言語モデルにおける両方の属性を制御することにより,多様なユースケースにおける安全性と利便性のバランスをとることを提案する。
論文 参考訳（メタデータ） (2024-04-01T17:59:06Z) - Assessing the Security of GitHub Copilot Generated Code -- A Targeted
Replication Study [11.644996472213611]
最近の研究は、GitHub CopilotやAmazon CodeWhispererといったAIによるコード生成ツールのセキュリティ問題を調査している。
本稿では、コパイロットのセキュリティの弱点を調査し、コパイロットが提案するコードにいくつかの弱点を発見したPearce et al.の研究を再現する。
我々の結果は、新しいバージョンのCopilotが改良されても、脆弱性のあるコード提案の割合が36.54%から27.25%に減少していることを示している。
論文 参考訳（メタデータ） (2023-11-18T22:12:59Z) - Exploring the Problems, their Causes and Solutions of AI Pair Programming: A Study on GitHub and Stack Overflow [6.724815667295355]
AIプログラマペアであるGitHub Copilotは、コードスニペットの大規模なコーパスでトレーニングされた機械学習モデルを使用して、コード提案を生成する。
ソフトウェア開発で人気があるにもかかわらず、Copilotと仕事をする実践者の実際の経験に関する実証的な証拠は限られている。
473のGitHubイシュー、706のGitHubディスカッション、142のStack Overflowポストからデータを収集しました。
論文 参考訳（メタデータ） (2023-11-02T06:24:38Z) - Demystifying Practices, Challenges and Expected Features of Using GitHub
Copilot [3.655281304961642]
Stack Overflow(SO)とGitHubの議論からデータを収集し分析することで、実証的研究を行った。
私たちは、Copilotで使用されるプログラミング言語、技術、実装された関数、利点、制限、そしてCopilotを使用する際の課題を特定しました。
以上の結果から,Copilotの使用は二重刃の剣のようなもので,使用するかどうかを判断する際には,さまざまな側面を慎重に検討する必要があることが示唆された。
論文 参考訳（メタデータ） (2023-09-11T16:39:37Z) - Measuring the Runtime Performance of Code Produced with GitHub Copilot [1.6021036144262577]
開発者がGitHub Copilotを使用する場合と、そうでない場合とで生成されたコードのランタイムパフォーマンスを評価します。
結果から,Copilotは実行時のパフォーマンスが著しく遅いコードを生成する可能性が示唆された。
論文 参考訳（メタデータ） (2023-05-10T20:14:52Z) - Safe Deep Reinforcement Learning by Verifying Task-Level Properties [84.64203221849648]
コスト関数は、安全深層強化学習(DRL)において一般的に用いられる。
このコストは通常、国家空間における政策決定のリスクの定量化が難しいため、指標関数として符号化される。
本稿では,ドメイン知識を用いて,そのような状態に近接するリスクを定量化するための代替手法について検討する。
論文 参考訳（メタデータ） (2023-02-20T15:24:06Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Is GitHub's Copilot as Bad as Humans at Introducing Vulnerabilities in
Code? [12.350130201627186]
セキュリティの観点から,Copilot生成したコードの比較実験解析を行った。
われわれは、Copilotが人間の開発者と同じソフトウェア脆弱性をもたらす可能性が高いかどうかを調査する。
論文 参考訳（メタデータ） (2022-04-10T18:32:04Z) - Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。
我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。
我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
論文 参考訳（メタデータ） (2020-10-19T13:09:31Z) - Safe Reinforcement Learning via Curriculum Induction [94.67835258431202]
安全クリティカルなアプリケーションでは、自律エージェントはミスが非常にコストがかかる環境で学ぶ必要がある。
既存の安全な強化学習手法は、エージェントが危険な状況を避けるために、事前にエージェントを頼りにしている。
本稿では,エージェントが自動インストラクターの指導の下で学習する,人間の指導にインスパイアされた代替手法を提案する。
論文 参考訳（メタデータ） (2020-06-22T10:48:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。