論文の概要: BlueCodeAgent: A Blue Teaming Agent Enabled by Automated Red Teaming for CodeGen AI

• arxiv url: http://arxiv.org/abs/2510.18131v1
• Date: Mon, 20 Oct 2025 22:00:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.645927
• Title: BlueCodeAgent: A Blue Teaming Agent Enabled by Automated Red Teaming for CodeGen AI
• Title（参考訳）: BlueCodeAgent: CodeGen AIのための自動化されたレッドチームによって実現されたブルーチームエージェント
• Authors: Chengquan Guo, Yuzhou Nie, Chulin Xie, Zinan Lin, Wenbo Guo, Bo Li,
• Abstract要約: 自動レッドチーム化によって実現された,エンドツーエンドのブルーチーム化エージェントであるBlueCodeAgentを提案する。 私たちのフレームワークは両方の側面を統合しています。レッドチーム化は多様なリスクのあるインスタンスを生成し、ブルーチーム化エージェントはこれらを利用して、これまで見てきた、そして目に見えないリスクシナリオを検出します。 BlueCodeAgentは、平均12.7%のF1スコアを3つのタスクで4つのデータセットで達成している。
• 参考スコア（独自算出の注目度）: 19.047693413887107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly used for code generation, concerns over the security risks have grown substantially. Early research has primarily focused on red teaming, which aims to uncover and evaluate vulnerabilities and risks of CodeGen models. However, progress on the blue teaming side remains limited, as developing defense requires effective semantic understanding to differentiate the unsafe from the safe. To fill in this gap, we propose BlueCodeAgent, an end-to-end blue teaming agent enabled by automated red teaming. Our framework integrates both sides: red teaming generates diverse risky instances, while the blue teaming agent leverages these to detect previously seen and unseen risk scenarios through constitution and code analysis with agentic integration for multi-level defense. Our evaluation across three representative code-related tasks--bias instruction detection, malicious instruction detection, and vulnerable code detection--shows that BlueCodeAgent achieves significant gains over the base models and safety prompt-based defenses. In particular, for vulnerable code detection tasks, BlueCodeAgent integrates dynamic analysis to effectively reduce false positives, a challenging problem as base models tend to be over-conservative, misclassifying safe code as unsafe. Overall, BlueCodeAgent achieves an average 12.7\% F1 score improvement across four datasets in three tasks, attributed to its ability to summarize actionable constitutions that enhance context-aware risk detection. We demonstrate that the red teaming benefits the blue teaming by continuously identifying new vulnerabilities to enhance defense performance.
• Abstract（参考訳）: コード生成に大規模言語モデル(LLM)がますます使用される中、セキュリティリスクに対する懸念が大幅に高まっている。 初期の研究は、主に、CodeGenモデルの脆弱性とリスクを発見し、評価することを目的とした、レッドチーム化に焦点を当てていた。 しかし、ブルーチーム側の進歩は、安全でないものを安全なものと区別するために効果的な意味理解を必要とするため、依然として限られている。 このギャップを埋めるために、自動化されたレッドチーム化によって実現された、エンドツーエンドのブルーチーム化エージェントであるBlueCodeAgentを提案する。 我々のフレームワークは両方の側面を統合している: レッド・チーム化は多様なリスクのあるインスタンスを生成するが、ブルー・チーム化エージェントはこれらを利用して、マルチレベル防衛のためのエージェント統合による構成とコード解析を通じて、以前に見られた、そして見えないリスクシナリオを検出する。 代表的な3つのコード関連タスク – バイアス命令検出,悪意のある命令検出,脆弱性のあるコード検出 – に対して,BlueCodeAgentがベースモデルと安全プロンプトベースの防御よりも大幅に向上したことを示す。 特に、脆弱なコード検出タスクでは、BlueCodeAgentは動的解析を統合して、偽陽性を効果的に削減します。 全体として、BlueCodeAgentは4つのデータセットで平均12.7\%のF1スコアを3つのタスクで達成している。 我々は、防御性能を高めるために、新たな脆弱性を継続的に特定することで、レッドチーム化がブルーチームにとって有益であることを実証した。

関連論文リスト

• RedCodeAgent: Automatic Red-teaming Agent against Diverse Code Agents [70.24175620901538]
  コードエージェントは、強力なコード生成機能とコードインタプリタとの統合により、広く採用されている。 現在の静的安全性ベンチマークとレッドチームツールは、出現する現実世界のリスクシナリオを特定するのに不十分である。 我々はRedCodeAgentを提案する。RedCodeAgentは、多様なコードエージェントの脆弱性を体系的に発見するように設計された、最初の自動リピートエージェントである。
  論文  参考訳（メタデータ） (2025-10-02T22:59:06Z)
• OpenAgentSafety: A Comprehensive Framework for Evaluating Real-World AI Agent Safety [58.201189860217724]
  OpenAgentSafetyは,8つの危機リスクカテゴリにまたがるエージェントの動作を評価する包括的なフレームワークである。 従来の作業とは異なり、我々のフレームワークは、Webブラウザ、コード実行環境、ファイルシステム、bashシェル、メッセージングプラットフォームなど、実際のツールと対話するエージェントを評価します。 ルールベースの分析とLSM-as-judgeアセスメントを組み合わせることで、過度な行動と微妙な不安全行動の両方を検出する。
  論文  参考訳（メタデータ） (2025-07-08T16:18:54Z)
• CoP: Agentic Red-teaming for Large Language Models using Composition of Principles [61.404771120828244]
  本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-01T02:18:41Z)
• AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration [40.350632196772466]
  本稿では,大規模言語モデル(LLM)に対する完全自動化とエンドツーエンドのレッドコラボレーションのための新しいフレームワークであるAutoRedTeamerを紹介する。 AutoRedTeamerはマルチエージェントアーキテクチャとメモリ誘導型攻撃選択機構を組み合わせることで、新たな攻撃ベクトルの継続的な発見と統合を可能にする。 我々は、さまざまな評価設定でAutoRedTeamerの有効性を示し、HarmBenchのLlama-3.1-70Bに対する攻撃成功率を20%向上させた。
  論文  参考訳（メタデータ） (2025-03-20T00:13:04Z)
• RedCode: Risky Code Execution and Generation Benchmark for Code Agents [50.81206098588923]
  RedCodeはリスクの高いコード実行と生成のためのベンチマークである。 RedCode-Execは、危険なコード実行につながる可能性のある、挑戦的なプロンプトを提供する。 RedCode-Genは160のプロンプトに関数シグネチャとドキュメントを入力として提供し、コードエージェントが命令に従うかどうかを評価する。
  論文  参考訳（メタデータ） (2024-11-12T13:30:06Z)
• AdvAgent: Controllable Blackbox Red-teaming on Web Agents [22.682464365220916]
  AdvAgentは、Webエージェントを攻撃するためのブラックボックスのレッドチームフレームワークである。 強化学習に基づくパイプラインを使用して、敵のプロンプトモデルをトレーニングする。 慎重な攻撃設計では、エージェントの弱点を効果的に活用し、ステルス性と制御性を維持する。
  論文  参考訳（メタデータ） (2024-10-22T20:18:26Z)
• AutoSafeCoder: A Multi-Agent Framework for Securing LLM Code Generation through Static Analysis and Fuzz Testing [6.334110674473677]
  既存のアプローチは、セキュアで脆弱性のないコードを生成するのに苦労するコード生成に、単一のエージェントに依存することが多い。 コード生成,脆弱性解析,セキュリティ強化にLLM駆動エージェントを活用するマルチエージェントフレームワークであるAutoSafeCoderを提案する。 私たちのコントリビューションは、コード生成中に反復的なプロセスで動的および静的なテストを統合することで、マルチエージェントコード生成の安全性を確保することに焦点を当てています。
  論文  参考訳（メタデータ） (2024-09-16T21:15:56Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。