論文の概要: When Developer Aid Becomes Security Debt: A Systematic Analysis of Insecure Behaviors in LLM Coding Agents
- arxiv url: http://arxiv.org/abs/2507.09329v1
- Date: Sat, 12 Jul 2025 16:11:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-15 18:48:22.966755
- Title: When Developer Aid Becomes Security Debt: A Systematic Analysis of Insecure Behaviors in LLM Coding Agents
- Title（参考訳）: ディベロッパがセキュリティ負債になるとき--LLM符号化エージェントの安全行動の体系的解析
- Authors: Matous Kozak, Roshanak Zilouchian Moghaddam, Siva Sivaraman,
- Abstract要約: LLMベースのコーディングエージェントは急速にソフトウェア開発にデプロイされているが、そのセキュリティへの影響はよく分かっていない。
我々は,5つの最先端モデルにわたる12,000以上のアクションを解析し,自律型符号化エージェントのシステムセキュリティ評価を行った。
- 参考スコア（独自算出の注目度）: 1.0923877073891446
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: LLM-based coding agents are rapidly being deployed in software development, yet their security implications remain poorly understood. These agents, while capable of accelerating software development, may inadvertently introduce insecure practices. We conducted the first systematic security evaluation of autonomous coding agents, analyzing over 12,000 actions across five state-of-the-art models (GPT-4o, GPT-4.1, Claude variants) on 93 real-world software setup tasks. Our findings reveal significant security concerns: 21% of agent trajectories contained insecure actions, with models showing substantial variation in security behavior. We developed a high-precision detection system that identified four major vulnerability categories, with information exposure (CWE-200) being the most prevalent one. We also evaluated mitigation strategies including feedback mechanisms and security reminders with various effectiveness between models. GPT-4.1 demonstrated exceptional security awareness with 96.8% mitigation success. Our work provides the first comprehensive framework for evaluating coding agent security and highlights the need for security-aware design of next generation LLM-based coding agents.
- Abstract（参考訳）: LLMベースのコーディングエージェントは急速にソフトウェア開発にデプロイされているが、そのセキュリティへの影響はよく分かっていない。
これらのエージェントは、ソフトウェア開発を加速できるが、必然的に安全でないプラクティスを導入するかもしれない。
我々は、93の現実世界のソフトウェアセットアップタスクにおいて、5つの最先端モデル(GPT-4o, GPT-4.1, Claude variants)にまたがる12,000以上のアクションを解析し、自律型符号化エージェントの最初の系統的セキュリティ評価を行った。
21%のエージェント・トラジェクトリが安全でない行動を含んでおり、モデルではセキュリティの挙動がかなり異なることが判明した。
我々は,情報露出(CWE-200)がもっとも多い4つの主要な脆弱性カテゴリを識別する高精度検出システムを開発した。
また,フィードバック機構やセキュリティリマインダーを含む緩和戦略を,モデル間の様々な効果で評価した。
GPT-4.1は96.8%の減少率で異常なセキュリティ意識を示した。
我々の研究は、コーディングエージェントのセキュリティを評価するための最初の包括的なフレームワークを提供し、次世代のLCMベースのコーディングエージェントのセキュリティ意識設計の必要性を強調します。
関連論文リスト
- The Dark Side of LLMs Agent-based Attacks for Complete Computer Takeover [0.18472148461613155]
本稿では,Large Language Model (LLM) エージェントを攻撃ベクトルとして包括的に評価する。
敵は3つの異なる攻撃面(ダイレクト・プロンプト・インジェクション、RAGバックドア・アタック、エージェント間信頼利用)を利用できることを示す。
その結果,全攻撃ベクトルに対する耐性は5.9%に過ぎなかった。
論文 参考訳（メタデータ） (2025-07-09T13:54:58Z) - OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。
従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。
ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
論文 参考訳（メタデータ） (2025-07-08T16:18:54Z) - SEC-bench: Automated Benchmarking of LLM Agents on Real-World Software Security Tasks [11.97472024483841]
SEC-benchは、大規模言語モデル(LLM)エージェントを評価するための、最初の完全に自動化されたベンチマークフレームワークである。
当社のフレームワークは,再現可能なアーティファクトを備えた高品質なソフトウェア脆弱性データセットを,インスタンス当たり0.87ドルで自動生成します。
最先端のLLMコードエージェントの包括的な評価では、大きなパフォーマンスギャップが明らかになっている。
論文 参考訳（メタデータ） (2025-06-13T13:54:30Z) - CyberGym: Evaluating AI Agents' Cybersecurity Capabilities with Real-World Vulnerabilities at Scale [46.76144797837242]
大規模言語モデル(LLM)エージェントは、自律的なサイバーセキュリティタスクの処理において、ますます熟練している。
既存のベンチマークは不足していて、現実のシナリオをキャプチャできなかったり、スコープが限られていたりします。
我々はCyberGymを紹介した。CyberGymは1,507の現実世界の脆弱性を特徴とする大規模かつ高品質なサイバーセキュリティ評価フレームワークである。
論文 参考訳（メタデータ） (2025-06-03T07:35:14Z) - LLM Agents Should Employ Security Principles [60.03651084139836]
本稿では,大規模言語モデル(LLM)エージェントを大規模に展開する際には,情報セキュリティの確立した設計原則を採用するべきであることを論じる。
AgentSandboxは、エージェントのライフサイクル全体を通して保護を提供するために、これらのセキュリティ原則を組み込んだ概念的なフレームワークである。
論文 参考訳（メタデータ） (2025-05-29T21:39:08Z) - Automating Safety Enhancement for LLM-based Agents with Synthetic Risk Scenarios [77.86600052899156]
LLM(Large Language Model)ベースのエージェントは、現実のアプリケーションにますますデプロイされる。
完全自動合成データ生成によるエージェント安全性を体系的に向上する最初のフレームワークであるAutoSafeを提案する。
AutoSafeは安全性のスコアを平均で45%向上させ、現実世界のタスクでは28.91%の改善を実現している。
論文 参考訳（メタデータ） (2025-05-23T10:56:06Z) - Towards Trustworthy GUI Agents: A Survey [64.6445117343499]
本調査では,GUIエージェントの信頼性を5つの重要な次元で検証する。
敵攻撃に対する脆弱性、シーケンシャルな意思決定における障害モードのカスケードなど、大きな課題を特定します。
GUIエージェントが普及するにつれて、堅牢な安全基準と責任ある開発プラクティスを確立することが不可欠である。
論文 参考訳（メタデータ） (2025-03-30T13:26:00Z) - Guardians of the Agentic System: Preventing Many Shots Jailbreak with Agentic System [0.8136541584281987]
本研究は,3つの検査手法を用いて,逆チューリングテストによりローグエージェントを検出し,マルチエージェントシミュレーションにより知覚的アライメントを解析する。
GEMINI 1.5 Pro と llama-3.3-70B, Deepseek r1 モデルを用いて, 抗ジェイルブレイクシステムを開発した。
GEMINI 1.5 Proの94%の精度など、検出能力は強いが、長時間の攻撃を受けた場合、システムは永続的な脆弱性に悩まされる。
論文 参考訳（メタデータ） (2025-02-23T23:35:15Z) - Agent-SafetyBench: Evaluating the Safety of LLM Agents [72.92604341646691]
我々は,大規模言語モデル(LLM)の安全性を評価するベンチマークであるAgent-SafetyBenchを紹介する。
Agent-SafetyBenchは349のインタラクション環境と2,000のテストケースを含み、安全リスクの8つのカテゴリを評価し、安全でないインタラクションで頻繁に発生する10の一般的な障害モードをカバーする。
16 名の LLM エージェントを評価した結果,いずれのエージェントも 60% 以上の安全性スコアを達成できないことがわかった。
論文 参考訳（メタデータ） (2024-12-19T02:35:15Z) - Do Software Security Practices Yield Fewer Vulnerabilities? [6.6840472845873276]
本研究の目的は、専門家や研究者がどのセキュリティプラクティスを採用するべきかを判断するのを支援することである。
4つのセキュリティプラクティスが、脆弱性数に影響を与える最も重要なプラクティスでした。
パッケージの総セキュリティスコアが増加するにつれて、報告された脆弱性の数は減少した。
論文 参考訳（メタデータ） (2022-10-20T20:04:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。