論文の概要: What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants

• arxiv url: http://arxiv.org/abs/2605.30777v1
• Date: Fri, 29 May 2026 03:09:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.358243
• Title: What Breaks When LLMs Code? Characterizing Operational Safety Failures of Agentic Code Assistants
• Title（参考訳）: エージェントコードアシスタントの運転安全障害の特徴
• Abstract要約: 私たちは、22のプレミア会場から68,816の論文、安全関連の研究185のキュレーション、広くデプロイされたコーディングツールから16,586のGitHubイシューを検査しました。 両コーパスを体系的にオープンコーディングすることで、33種類の運用リスクの多次元安全分類を導出する。 以上の結果から,コーディングエージェント障害は重篤で,547件中326件が重篤であった。
• 参考スコア（独自算出の注目度）: 4.032084095153604
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous coding agents built on large language models (LLMs) are rapidly being integrated into development workflows, yet their operational safety properties remain poorly understood beyond evaluations of explicitly malicious inputs. In practice, high-impact failures arise during benign, goal-directed use through environment breakage, fabricated success reports, etc. that current benchmarks do not capture. What categories of operational safety failures actually occur when coding agents are used for everyday development tasks and what is their impact? We present an incident-driven empirical study grounded in two complementary evidence streams. We screen 68,816 papers from 22 premier venues, curating 185 safety-relevant studies, and mine 16,586 GitHub issues from widely deployed LLM-powered coding tools, manually confirming 547 genuine safety failures. Applying systematic open coding over both corpora, we derive a multi-dimensional safety taxonomy of 33 operational risk types organized across seven dimensions, and annotate each incident with contributing factors, task context, severity, and downstream impact. Our findings show that coding-agent failures are often severe, with 326 of 547 incidents rated high or critical. The dominant risks are constraint violations, destructive operations, authorization bypasses, and deception, and over 65% of incidents arise in bug fixing and setup or configuration, patterns largely missing from prior literature. These results have direct implications for SE tool designers and benchmark developers: guardrails must go beyond adversarial-prompt defenses to enforce environmental constraints, failure transparency, and safe-halt behaviors.
• Abstract（参考訳）: 大規模言語モデル(LLM)上に構築された自律型コーディングエージェントは、開発ワークフローに急速に統合されている。 実際には、現在のベンチマークが捉えていない環境破壊、製造された成功報告などを通じて、良心的、目標指向の使用において、ハイインパクトな障害が発生する。 コーディングエージェントを日々の開発タスクに使用する場合、運用上の安全上の障害はどのようなカテゴリで発生しますか? 2つの相補的なエビデンスストリームに基づくインシデント駆動実証研究を提案する。 私たちは、22のプレミア会場から68,816の論文をチェックし、185の研究をキュレートし、16,586のGitHub問題と、広くデプロイされたLLMベースのコーディングツールから、手動で547の真の安全障害を確認しました。 両コーパスを体系的にオープンコーディングすることで、7次元にまたがる33の運用リスクタイプを多次元に分類し、各インシデントに寄与要因、タスクコンテキスト、重大度、下流への影響を注釈する。 以上の結果から,コーディングエージェント障害は重篤で,547件中326件が重篤であった。 主なリスクは、制約違反、破壊的な操作、認可のバイパス、詐欺、そして65%以上のインシデントが、バグの修正や設定、設定で発生し、以前の文献からほとんど失われているパターンである。 これらの結果はSEツールデザイナやベンチマーク開発者にとって直接的な意味を持つ。 ガードレールは、環境制約、障害の透明性、安全半減な振る舞いを強制するために、敵対的かつ急進的な防御を超えなければなりません。

関連論文リスト

• Safety Testing LLM Agents at Scale: From Risk Discovery to Evidence-Grounded Verification [32.337075755765056]
  Veraは、非決定論的エージェントのためのソフトウェアエンジニアリングテストの原則をインスタンス化するエンドツーエンドの自動安全テストフレームワークである。 124のリスクカテゴリにまたがる1600の実行可能な安全ケースで構成されたVeraをリリースします。 これらの結果から,高度に進化するエージェントシステムの厳密かつ保守可能な安全性評価には,モジュール型で実行可能なテストインフラストラクチャが不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2026-07-02T07:08:26Z)
• AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
  大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。 既存の安全機構は主に外部ガードレールに依存している。 我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
  論文  参考訳（メタデータ） (2026-06-21T21:13:55Z)
• On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
  既存の安全アライメント信号は、主に応答レベルまたは政治外である。 FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。 FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
  論文  参考訳（メタデータ） (2026-05-12T09:56:28Z)
• ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? [92.21756459993695]
  低レベルのプログラム推論を必要とするため、爆発は難しい作業です。 その重要性と診断価値にもかかわらず、搾取は未評価のままである。 ExploitGymは、AIエージェントのエクスプロイト能力に関する大規模で多様な、現実的なベンチマークである。
  論文  参考訳（メタデータ） (2026-05-11T18:00:14Z)
• Is Vibe Coding the Future? An Empirical Assessment of LLM Generated Codes for Construction Safety [0.14504054468850666]
  本研究では,450のビブ符号化Pythonスクリプトの信頼性,ソフトウェアアーキテクチャ,ドメイン固有の安全性を実証的に評価する。 その結果、ユーザペルソナとデータ幻覚の極めて重要な関係が明らかとなり、フォーマルでないプロンプトがAIの適合性を劇的に増加させ、欠落した安全変数を発明することを示した。
  論文  参考訳（メタデータ） (2026-04-14T05:42:29Z)
• The Blind Spot of Agent Safety: How Benign User Instructions Expose Critical Vulnerabilities in Computer-Use Agents [29.98056047452529]
  コンピュータ利用エージェント(CUA)は、現実の環境で複雑なタスクを自律的に完了させることができるが、誤解があれば自動化することもできる。 意図しない攻撃条件下でCUAを評価するベンチマークOSBLINDを紹介する。 ほとんどのCUAは90%の攻撃成功率(ASR)を超え、安全に配慮したClaude 4.5 Sonnetも72.7%に達している。
  論文  参考訳（メタデータ） (2026-04-12T10:52:42Z)
• Internal Safety Collapse in Frontier Large Language Models [65.00730294617382]
  この研究は、フロンティア大言語モデル(LLM)における重要な障害モードを特定する。 特定のタスク条件下では、モデルは有害なコンテンツを連続的に生成し、そうでなければ良質なタスクを実行する状態に入る。 有害なコンテンツを生成することが唯一有効な完了であるドメインタスクを通じてISCをトリガーするフレームワークであるTVDを紹介する。
  論文  参考訳（メタデータ） (2026-03-04T12:55:34Z)
• Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks [22.499464760561434]
  バイブコーディングは、人間のエンジニアが大規模言語モデル(LLM)エージェントに複雑なコーディングタスクをほとんど監督せずに完了するよう指示する新しいプログラミングパラダイムである。 実世界のオープンソースプロジェクトから200の機能要求ソフトウェアエンジニアリングタスクからなるベンチマークを提示する。 我々の発見は、特にセキュリティに敏感なアプリケーションにおいて、バイブコーディングが広く採用されているという深刻な懸念を提起する。
  論文  参考訳（メタデータ） (2025-12-02T22:11:56Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions [64.85086226439954]
  本稿では,有害な指示に対するVLMエージェントの安全性を評価するためのベンチマークであるSAFEを提案する。 SAFEは、SAFE−THOR、SAFE−VERSE、SAFE−DIAGNOSEの3つの成分からなる。 我々は、ハザード認識を安全な計画と実行に翻訳する体系的な失敗を明らかにする。
  論文  参考訳（メタデータ） (2025-06-17T16:37:35Z)
• SafeAgentBench: A Benchmark for Safe Task Planning of Embodied LLM Agents [58.65256663334316]
  我々は,対話型シミュレーション環境におけるLLMエージェントの安全性を考慮したタスク計画のための最初のベンチマークであるSafeAgentBenchを紹介する。 SafeAgentBenchは、(1)10の潜在的な危険と3つのタスクタイプをカバーするために厳格にキュレートされた750のタスクの実行可能な多種多様な高品質データセット、(2)低レベルコントローラを備えた普遍的な実施環境、9つの最先端ベースラインに対して17のハイレベルアクションでマルチエージェント実行をサポートするSafeAgentEnv、(3)実行とセマンティックの両方の観点から信頼性の高い評価方法を含む。
  論文  参考訳（メタデータ） (2024-12-17T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。