論文の概要: Red Teaming Program Repair Agents: When Correct Patches can Hide Vulnerabilities
- arxiv url: http://arxiv.org/abs/2509.25894v1
- Date: Tue, 30 Sep 2025 07:38:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 17:09:04.468095
- Title: Red Teaming Program Repair Agents: When Correct Patches can Hide Vulnerabilities
- Title（参考訳）: プログラム修復エージェントのレッドチーム:正しいパッチはいつ脆弱性を隠せるか
- Authors: Simin Chen, Yixin He, Suman Jana, Baishakhi Ray,
- Abstract要約: 本稿では,APRエージェントが機能的正確かつ脆弱なパッチを生成するために,逆問題文を生成するSWExploitを提案する。
評価に基づいて、すべてのテストに合格するパッチが本質的に信頼性と安全性を持つという従来の仮定に初めて挑戦します。
- 参考スコア（独自算出の注目度）: 22.02073334787359
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agents are increasingly deployed for software maintenance tasks such as automated program repair (APR). APR agents automatically fetch GitHub issues and use backend LLMs to generate patches that fix the reported bugs. However, existing work primarily focuses on the functional correctness of APR-generated patches, whether they pass hidden or regression tests, while largely ignoring potential security risks. Given the openness of platforms like GitHub, where any user can raise issues and participate in discussions, an important question arises: Can an adversarial user submit a valid issue on GitHub that misleads an LLM-based agent into generating a functionally correct but vulnerable patch? To answer this question, we propose SWExploit, which generates adversarial issue statements designed to make APR agents produce patches that are functionally correct yet vulnerable. SWExploit operates in three main steps: (1) program analysis to identify potential injection points for vulnerable payloads; (2) adversarial issue generation to provide misleading reproduction and error information while preserving the original issue semantics; and (3) iterative refinement of the adversarial issue statements based on the outputs of the APR agents. Empirical evaluation on three agent pipelines and five backend LLMs shows that SWExploit can produce patches that are both functionally correct and vulnerable (the attack success rate on the correct patch could reach 0.91, whereas the baseline ASRs are all below 0.20). Based on our evaluation, we are the first to challenge the traditional assumption that a patch passing all tests is inherently reliable and secure, highlighting critical limitations in the current evaluation paradigm for APR agents.
- Abstract（参考訳）: LLMベースのエージェントは、自動プログラム修復(APR)のようなソフトウェアメンテナンスタスクのために、ますます多くデプロイされている。
APRエージェントはGitHubのイシューを自動的にフェッチし、バックエンドのLLMを使用して、報告されたバグを修正するパッチを生成する。
しかし、既存の研究は主にAPR生成パッチの機能的正当性に焦点を当てており、隠れテストや回帰テストに合格するが、潜在的なセキュリティリスクは無視する。
GitHubのようなプラットフォームがオープンであることを考えると、ユーザは問題を起こし、議論に参加することができる。 敵のユーザは、LLMベースのエージェントを誤認して機能的に正しいが脆弱なパッチを生成する、有効な問題をGitHubに提出できるだろうか?
そこで本研究では,APRエージェントが機能的正確かつ脆弱なパッチを生成するために設計された,逆問題文を生成するSWExploitを提案する。
SWExploitは,(1)脆弱なペイロードに対する潜在的なインジェクションポイントを特定するプログラム解析,(2)元のイシューセマンティクスを保存しながら,誤った再現情報とエラー情報を提供する逆問題生成,(3)APRエージェントの出力に基づいて,逆問題ステートメントを反復的に改善する。
3つのエージェントパイプラインと5つのバックエンドLCMに関する実証的な評価によると、SWExploitは機能的に正しいパッチと脆弱なパッチを生成することができる(正しいパッチの攻撃成功率は0.91に達するが、ベースラインのASRは0.20以下である)。
評価に基づいて、我々は、すべてのテストに合格するパッチが本質的に信頼性があり、安全であるという従来の仮定に初めて挑戦し、APRエージェントの現在の評価パラダイムにおける重要な制限を強調します。
関連論文リスト
- Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。
単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。
現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。
AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
論文 参考訳（メタデータ） (2025-09-29T18:20:27Z) - VulAgent: Hypothesis-Validation based Multi-Agent Vulnerability Detection [55.957275374847484]
VulAgentは仮説検証に基づくマルチエージェント脆弱性検出フレームワークである。
セマンティクスに敏感なマルチビュー検出パイプラインを実装しており、それぞれが特定の分析の観点から一致している。
平均して、VulAgentは全体的な精度を6.6%改善し、脆弱性のある固定されたコードペアの正確な識別率を最大450%向上させ、偽陽性率を約36%削減する。
論文 参考訳（メタデータ） (2025-09-15T02:25:38Z) - Adversarial Bug Reports as a Security Risk in Language Model-Based Automated Program Repair [1.1677624591989955]
自動プログラム修復(APR)システムは、現代のソフトウェア開発にますます統合されている。
本稿では,敵のバグ報告によるセキュリティリスクについて検討する。
我々は、包括的脅威モデルを開発し、そのような攻撃に対する最先端のAPRシステムの脆弱性を評価するための実証的研究を行う。
論文 参考訳（メタデータ） (2025-09-04T09:41:57Z) - Is Your Automated Software Engineer Trustworthy? [0.850206009406913]
大規模言語モデル(LLM)は、ソフトウェア工学のタスクでますます使われています。
LLMはすべての問題に応答し、入力があいまいであったり、出力が間違っていたとしても、すべてのケースに対してパッチを生成する。
これは、幻覚的なコード変更や、あいまいな問題レポートに基づいたレスポンスといった、信頼性の低い振る舞いにつながります。
我々は、LLMベースのソフトウェアエージェントが入力が未定義の場合に動作しないかどうかを評価するベンチマークであるBouncerBenchを紹介する。
論文 参考訳（メタデータ） (2025-06-21T20:56:20Z) - Wolf Hidden in Sheep's Conversations: Toward Harmless Data-Based Backdoor Attacks for Jailbreaking Large Language Models [81.44934796068495]
Supervised Fine-tuning (SFT) は、大きな言語モデルと人間の意図を協調させ、ラベル付きタスク固有データでトレーニングする。
悪意のある攻撃者は、有害な質問応答(QA)ペアにトリガーを埋め込むことで、これらのモデルにバックドアを注入することができる。
脱獄型LDMのための新しいテキストクリーンデータバックドアアタックを提案する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems [50.29939179830491]
LLMマルチエージェントシステムにおける障害帰属は、まだ調査が過小評価されており、労働集約的である。
本稿では,3つの自動故障帰属手法の開発と評価を行い,その欠点と欠点を要約する。
最良の方法は、障害に応答するエージェントを特定する際に53.5%の精度を達成するが、故障の特定には14.2%しか役に立たない。
論文 参考訳（メタデータ） (2025-04-30T23:09:44Z) - A Case Study of LLM for Automated Vulnerability Repair: Assessing Impact of Reasoning and Patch Validation Feedback [7.742213291781287]
提案するVRpilotは,推論とパッチ検証フィードバックに基づく脆弱性修復手法である。
以上の結果から,VRpilotはCとJavaのベースライン技術よりも平均14%と7.6%の正確なパッチを生成することがわかった。
論文 参考訳（メタデータ） (2024-05-24T16:29:48Z) - A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。
1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
論文 参考訳（メタデータ） (2024-04-26T04:55:35Z) - Keep the Conversation Going: Fixing 162 out of 337 bugs for $0.42 each using ChatGPT [13.632199062382746]
自動プログラム修復(APR)は、バグギープログラムのパッチを自動的に生成することを目的としている。
最近のAPRの研究は、最新のLarge Language Models(LLM)を活用して、APRのパッチを直接生成することに重点を置いている。
最初に完全に自動化された会話駆動型APRアプローチであるChatRepairを提案する。
論文 参考訳（メタデータ） (2023-04-01T20:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。