論文の概要: AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration

• arxiv url: http://arxiv.org/abs/2503.15754v1
• Date: Thu, 20 Mar 2025 00:13:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:59.562246
• Title: AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration
• Title（参考訳）: AutoRedTeamer: 生涯のアタック統合を備えた自律的レッドチーム
• Authors: Andy Zhou, Kevin Wu, Francesco Pinto, Zhaorun Chen, Yi Zeng, Yu Yang, Shuang Yang, Sanmi Koyejo, James Zou, Bo Li,
• Abstract要約: 本稿では,大規模言語モデル(LLM)に対する完全自動化とエンドツーエンドのレッドコラボレーションのための新しいフレームワークであるAutoRedTeamerを紹介する。 AutoRedTeamerはマルチエージェントアーキテクチャとメモリ誘導型攻撃選択機構を組み合わせることで、新たな攻撃ベクトルの継続的な発見と統合を可能にする。 我々は、さまざまな評価設定でAutoRedTeamerの有効性を示し、HarmBenchのLlama-3.1-70Bに対する攻撃成功率を20%向上させた。
• 参考スコア（独自算出の注目度）: 40.350632196772466
• License:
• Abstract: As large language models (LLMs) become increasingly capable, security and safety evaluation are crucial. While current red teaming approaches have made strides in assessing LLM vulnerabilities, they often rely heavily on human input and lack comprehensive coverage of emerging attack vectors. This paper introduces AutoRedTeamer, a novel framework for fully automated, end-to-end red teaming against LLMs. AutoRedTeamer combines a multi-agent architecture with a memory-guided attack selection mechanism to enable continuous discovery and integration of new attack vectors. The dual-agent framework consists of a red teaming agent that can operate from high-level risk categories alone to generate and execute test cases and a strategy proposer agent that autonomously discovers and implements new attacks by analyzing recent research. This modular design allows AutoRedTeamer to adapt to emerging threats while maintaining strong performance on existing attack vectors. We demonstrate AutoRedTeamer's effectiveness across diverse evaluation settings, achieving 20% higher attack success rates on HarmBench against Llama-3.1-70B while reducing computational costs by 46% compared to existing approaches. AutoRedTeamer also matches the diversity of human-curated benchmarks in generating test cases, providing a comprehensive, scalable, and continuously evolving framework for evaluating the security of AI systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)がますます有能になるにつれて、セキュリティと安全性の評価が不可欠である。 現在のレッド・チーム・アプローチはLSMの脆弱性の評価に力を入れているが、それらはしばしば人間の入力に大きく依存し、出現する攻撃ベクトルの包括的カバレッジを欠いている。 本稿では、完全に自動化されたエンドツーエンドのLLMチームのための新しいフレームワークであるAutoRedTeamerを紹介する。 AutoRedTeamerはマルチエージェントアーキテクチャとメモリ誘導型攻撃選択機構を組み合わせることで、新たな攻撃ベクトルの継続的な発見と統合を可能にする。 デュアルエージェントフレームワークは、高レベルのリスクカテゴリから単独で運用してテストケースを生成し実行することができるレッドチームエージェントと、最近の研究を分析して新たな攻撃を自律的に発見し実装する戦略提案者エージェントで構成されている。 このモジュール設計により、AutoRedTeamerは、既存のアタックベクターの強力なパフォーマンスを維持しながら、出現する脅威に適応できる。 我々はAutoRedTeamerの有効性を様々な評価設定で実証し、既存のアプローチと比較して計算コストを46%削減しながら、HarmBenchのLlama-3.1-70Bに対する攻撃成功率を20%向上させた。 AutoRedTeamerはまた、AIシステムのセキュリティを評価するための包括的でスケーラブルで継続的に進化するフレームワークを提供する。

関連論文リスト

• Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models [62.12822290276912]
  Auto-RTは、複雑な攻撃戦略を探索し最適化する強化学習フレームワークである。 探索効率を大幅に改善し、攻撃戦略を自動的に最適化することにより、Auto-RTはボーダの脆弱性範囲を検出し、検出速度が速く、既存の方法と比較して16.63%高い成功率を達成する。
  論文  参考訳（メタデータ） (2025-01-03T14:30:14Z)
• Multi-Objective Reinforcement Learning for Automated Resilient Cyber Defence [0.0]
  サイバー攻撃は、軍事指揮統制ネットワーク、情報、監視、偵察(ISR)システム、民間の臨界国家インフラにセキュリティ上の脅威をもたらす。 これらの攻撃における人工知能と自律エージェントの使用は、この脅威の規模、範囲、複雑さを増大させ、それらが引き起こす破壊を後押しする。 自律サイバー防衛(ACD)エージェントは、マシンスピードとこの問題に対処するために必要なスケールで応答することで、この脅威を軽減することを目指している。
  論文  参考訳（メタデータ） (2024-11-26T16:51:52Z)
• Automated Red Teaming with GOAT: the Generative Offensive Agent Tester [8.947465706080523]
  Red Teamingは、安全トレーニング中に設定された規範やポリシー、ルールに違反したコンテンツを、大規模な言語モデルがいかに生成できるかを評価する。 文献における既存の自動化手法のほとんどは、人間がAIモデルと対話する傾向を示すものではない。 本稿では,非言語的会話をシミュレートする自動エージェントレッド・チーム・システムであるジェネレーティブ・オッサンティブ・エージェント・テスタ(GOAT)を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T14:47:05Z)
• Holistic Automated Red Teaming for Large Language Models through Top-Down Test Case Generation and Multi-turn Interaction [24.499874512829198]
  本研究では, 対角的, きめ細かなリスク分類に基づいて, テストケースの多様性を拡大する自動紅茶造法を提案する。 提案手法は,新しい微調整戦略と強化学習技術を活用し,人的手法で多ターン探索を容易にする。
  論文  参考訳（メタデータ） (2024-09-25T09:44:48Z)
• Dissecting Adversarial Robustness of Multimodal LM Agents [70.2077308846307]
  我々は、VisualWebArena上に現実的な脅威モデルを用いて、200の敵タスクと評価スクリプトを手動で作成する。 我々は,クロボックスフロンティアLMを用いた最新のエージェントを,リフレクションやツリーサーチを行うエージェントを含む,壊すことに成功している。 AREを使用して、新しいコンポーネントの追加に伴うロバスト性の変化を厳格に評価しています。
  論文  参考訳（メタデータ） (2024-06-18T17:32:48Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal [47.40508941209001]
  HarmBenchは、自動化されたレッドチームのための標準化された評価フレームワークである。 我々は18のレッドチーム法と33のLLMとディフェンスを大規模に比較した。 また,多岐にわたる攻撃に対する堅牢性を大幅に向上させる,高効率な対人訓練手法も導入する。
  論文  参考訳（メタデータ） (2024-02-06T18:59:08Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。