論文の概要: RedCode: Risky Code Execution and Generation Benchmark for Code Agents

• arxiv url: http://arxiv.org/abs/2411.07781v1
• Date: Tue, 12 Nov 2024 13:30:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:16.224149
• Title: RedCode: Risky Code Execution and Generation Benchmark for Code Agents
• Title（参考訳）: RedCode: コードエージェントのリスクの高いコード実行と生成ベンチマーク
• Authors: Chengquan Guo, Xun Liu, Chulin Xie, Andy Zhou, Yi Zeng, Zinan Lin, Dawn Song, Bo Li,
• Abstract要約: RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
• 参考スコア（独自算出の注目度）: 50.81206098588923
• License:
• Abstract: With the rapidly increasing capabilities and adoption of code agents for AI-assisted coding, safety concerns, such as generating or executing risky code, have become significant barriers to the real-world deployment of these agents. To provide comprehensive and practical evaluations on the safety of code agents, we propose RedCode, a benchmark for risky code execution and generation: (1) RedCode-Exec provides challenging prompts that could lead to risky code execution, aiming to evaluate code agents' ability to recognize and handle unsafe code. We provide a total of 4,050 risky test cases in Python and Bash tasks with diverse input formats including code snippets and natural text. They covers 25 types of critical vulnerabilities spanning 8 domains (e.g., websites, file systems). We provide Docker environments and design corresponding evaluation metrics to assess their execution results. (2) RedCode-Gen provides 160 prompts with function signatures and docstrings as input to assess whether code agents will follow instructions to generate harmful code or software. Our empirical findings, derived from evaluating three agent frameworks based on 19 LLMs, provide insights into code agents' vulnerabilities. For instance, evaluations on RedCode-Exec show that agents are more likely to reject executing risky operations on the operating system, but are less likely to reject executing technically buggy code, indicating high risks. Risky operations described in natural text lead to a lower rejection rate than those in code format. Additionally, evaluations on RedCode-Gen show that more capable base models and agents with stronger overall coding abilities, such as GPT4, tend to produce more sophisticated and effective harmful software. Our findings highlight the need for stringent safety evaluations for diverse code agents. Our dataset and code are available at https://github.com/AI-secure/RedCode.
• Abstract（参考訳）: AI支援コーディングのためのコードエージェントの能力と採用が急速に増加し、リスクのあるコードの生成や実行といった安全性上の懸念が、これらのエージェントの現実的なデプロイにおいて大きな障壁となっている。 1) RedCode-Execは、危険を伴うコード実行につながる可能性のある、困難なプロンプトを提供します。 コードスニペットや自然言語などさまざまな入力形式を備えたPythonおよびBashタスクで,合計4,050のリスクテストケースを提供しています。 8つのドメイン(Webサイト、ファイルシステムなど)にまたがる25種類の重要な脆弱性をカバーする。 私たちはDocker環境を提供し、その実行結果を評価するための対応する評価指標を設計します。 2) RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが有害なコードやソフトウェアを生成するための命令に従うかどうかを評価する。 19のLSMに基づいた3つのエージェントフレームワークの評価から得られた経験的発見は、コードエージェントの脆弱性に関する洞察を提供する。 例えば、RedCode-Execの評価では、エージェントはオペレーティングシステム上での危険な操作の実行を拒否する傾向にあるが、技術的にバグの多いコードの実行を拒否する可能性は低く、高いリスクを示している。 自然言語で記述された危険な操作は、コード形式よりも拒否率を低くする。 さらに、RedCode-Genの評価によると、GPT4のようなより高度な全体的なコーディング能力を持つ、より有能なベースモデルとエージェントは、より高度で効果的な有害なソフトウェアを生み出す傾向がある。 この結果から,多様なコードエージェントに対する厳格な安全性評価の必要性が浮き彫りになった。 データセットとコードはhttps://github.com/AI-Secure/RedCode.orgから入手可能です。

関連論文リスト

• Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
  Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。 Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
  論文  参考訳（メタデータ） (2024-10-02T09:11:10Z)
• HexaCoder: Secure Code Generation via Oracle-Guided Synthetic Training Data [60.75578581719921]
  大規模言語モデル(LLM)は、自動コード生成に大きな可能性を示している。 最近の研究は、多くのLLM生成コードが深刻なセキュリティ脆弱性を含んでいることを強調している。 我々は,LLMがセキュアなコードを生成する能力を高めるための新しいアプローチであるHexaCoderを紹介する。
  論文  参考訳（メタデータ） (2024-09-10T12:01:43Z)
• Is Your AI-Generated Code Really Safe? Evaluating Large Language Models on Secure Code Generation with CodeSecEval [20.959848710829878]
  大規模言語モデル(LLM)は、コード生成とコード修復に大きな進歩をもたらした。 しかし、GitHubのようなオープンソースのリポジトリから無防備なデータを使用したトレーニングは、セキュリティ上の脆弱性を必然的に伝播するリスクを増大させる。 我々は,コードLLMのセキュリティ面を正確に評価し,拡張することを目的とした総合的研究を提案する。
  論文  参考訳（メタデータ） (2024-07-02T16:13:21Z)
• An LLM-Assisted Easy-to-Trigger Backdoor Attack on Code Completion Models: Injecting Disguised Vulnerabilities against Strong Detection [17.948513691133037]
  我々は,コード補完モデルに基づくLLM支援バックドアアタックフレームワークであるCodeBreakerを紹介した。 悪意のあるペイロードを最小限の変換でソースコードに直接統合することで、CodeBreakerは現在のセキュリティ対策に挑戦する。
  論文  参考訳（メタデータ） (2024-06-10T22:10:05Z)
• Assessing Cybersecurity Vulnerabilities in Code Large Language Models [18.720986922660543]
  EvilInstructCoderは、命令チューニングされたコードLLMのサイバーセキュリティ脆弱性を敵の攻撃に対して評価するように設計されたフレームワークである。 実際の脅威モデルを組み込んで、さまざまな能力を持つ現実世界の敵を反映している。 我々は、3つの最先端のCode LLMモデルを用いて、コーディングタスクのための命令チューニングの活用性について包括的に調査する。
  論文  参考訳（メタデータ） (2024-04-29T10:14:58Z)
• How Far Have We Gone in Binary Code Understanding Using Large Language Models [51.527805834378974]
  バイナリコード理解におけるLarge Language Models(LLM)の有効性を評価するためのベンチマークを提案する。 評価の結果、既存のLLMはバイナリコードをある程度理解でき、それによってバイナリコード解析の効率が向上することが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-15T14:44:08Z)
• CodeAgent: Autonomous Communicative Agents for Code Review [12.163258651539236]
  コードレビュー自動化のための新しいマルチエージェント大規模言語モデル(LLM)システムであるツールを紹介する。 CodeAgentは、すべてのエージェントのコントリビューションが初期レビュー問題に対処するように、監督エージェントであるQA-Checkerを組み込んでいる。 結果はCodeAgentの有効性を実証し、コードレビュー自動化の新たな最先端に寄与している。
  論文  参考訳（メタデータ） (2024-02-03T14:43:14Z)
• LLM-Powered Code Vulnerability Repair with Reinforcement Learning and Semantic Reward [3.729516018513228]
  我々は,大規模な言語モデルであるCodeGen2を利用した多目的コード脆弱性解析システム texttSecRepair を導入する。 そこで本研究では,LLMを用いた脆弱性解析に適した命令ベースデータセットを提案する。 GitHub上の6つのオープンソースIoTオペレーティングシステムにおいて、ゼロデイとNデイの脆弱性を特定します。
  論文  参考訳（メタデータ） (2024-01-07T02:46:39Z)
• CodeLMSec Benchmark: Systematically Evaluating and Finding Security Vulnerabilities in Black-Box Code Language Models [58.27254444280376]
  自動コード生成のための大規模言語モデル(LLM)は、いくつかのプログラミングタスクにおいてブレークスルーを達成した。 これらのモデルのトレーニングデータは、通常、インターネット(例えばオープンソースのリポジトリから)から収集され、障害やセキュリティ上の脆弱性を含む可能性がある。 この不衛生なトレーニングデータは、言語モデルにこれらの脆弱性を学習させ、コード生成手順中にそれを伝播させる可能性がある。
  論文  参考訳（メタデータ） (2023-02-08T11:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。