論文の概要: GPT-Red: Automated Red Teaming via Self-Play at Scale

• arxiv url: http://arxiv.org/abs/2607.26115v1
• Date: Tue, 28 Jul 2026 16:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.433192
• Title: GPT-Red: Automated Red Teaming via Self-Play at Scale
• Title（参考訳）: GPT-Red: スケールでのセルフプレイによる自動化されたレッドチーム
• Abstract要約: 我々は、フロンティアLSMに対する新規なプロンプトインジェクション攻撃を発見するために訓練された、自動化されたリピートエージェントであるtextbfGPT-Redを紹介する。 過去のモデルをGPT-5.5に確実に分解し、人間のレッドチームよりも攻撃に成功し、保留環境に一般化します。
• 参考スコア（独自算出の注目度）: 58.27696932324196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce \textbf{GPT-Red}, an automated red-teaming agent that is trained to discover novel prompt injection attacks against frontier LLMs. The goal of this model is to evaluate and improve the robustness of our production systems. To this end, we use it to adversarially train GPT-5.6, our most robust model to prompt injections to date. To create GPT-Red, we design a scalable self-play algorithm where the model is tasked with attacking a diverse population of simultaneously-trained defender agents. We train the model on realistic red-teaming environments using compute on the same scale as some of our largest RL post-training runs, making it the single-largest LLM safety training run ever documented. GPT-Red excels at red-teaming: it reliably breaks our past models up to GPT-5.5, it finds more successful attacks than human red-teamers, and it generalizes to held-out environments, defender models, and harnesses. In the future, we expect that as we improve the robustness of each new GPT model, it will in turn will provide better learning signal for \textit{even stronger} red-teamer agents, thus unlocking a self-improvement flywheel.
• Abstract（参考訳）: 我々は、フロンティアLSMに対する新規なプロンプトインジェクション攻撃を発見するために訓練された、自動化されたリピートエージェントである \textbf{GPT-Red} を紹介する。 このモデルの目的は、運用システムの堅牢性を評価し、改善することにあります。 この目的のために、私たちはGPT-5.6(現在のインジェクションを誘導する最も堅牢なモデル)を逆行訓練するためにそれを使用します。 GPT-Redを作成するために、モデルが同時に訓練されたディフェンダーエージェントの多様な集団を攻撃するためのスケーラブルなセルフプレイアルゴリズムを設計する。 我々は、我々の最大のRLポストトレーニング実行と同じスケールで計算を使用して、現実的なレッドチーム環境上でモデルをトレーニングし、史上最大のLLM安全性トレーニング実行を実現しました。 従来のモデルをGPT-5.5に確実に分解し、人間のレッドチームよりも攻撃を成功させ、ホールドアウト環境、ディフェンダーモデル、ハーネスに一般化します。 将来的には,新しいGPTモデルのロバスト性の向上とともに,より強力なred-teamerエージェントの学習信号が提供され,自己改善型フライホイールのアンロックが期待できる。

関連論文リスト

• Learning to Attack and Defend: Adaptive Red Teaming of Language Models via GRPO [2.714570887733442]
  Adv GRPOは、密集したマルチチャネル報酬を使用してアタッカーとディフェンダーを最適化するコトレーニングフレームワークである。 提案手法は,高能率かつ移動可能な攻撃を発生させることができ,また,協調訓練されたディフェンダーが安全ベンチマークのベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-06-08T16:21:36Z)
• Training a General Purpose Automated Red Teaming Model [11.120434965095555]
  任意の対向目標に一般化可能なレッドチームモデルのトレーニングパイプラインを提案する。 このパイプラインを用いたQwen3-8Bのような小型モデルの微調整により,攻撃発生能力が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2026-04-24T23:37:17Z)
• AutoRed: A Free-form Adversarial Prompt Generation Framework for Automated Red Teaming [58.70941433155648]
  AutoRedは、シード命令の必要性を取り除く自由形式の逆プロンプト生成フレームワークである。 2つのレッドチームデータセットを構築し、8つの最先端の大規模言語モデルを評価する。 本研究は,シードベースアプローチの限界を強調し,安全性評価のための自由形レッドチームの可能性を示した。
  論文  参考訳（メタデータ） (2025-10-09T15:17:28Z)
• RL Is a Hammer and LLMs Are Nails: A Simple Reinforcement Learning Recipe for Strong Prompt Injection [82.41836544860833]
  RL-Hammerは、攻撃モデルを訓練するためのシンプルなレシピで、強力なプロンプトインジェクションを実行するために自動的に学習する。 我々は,高度に効果的で普遍的な攻撃を可能にする実用的手法のセットを提案する。 RL-Hammerは、GPT-4oに対して98%のASR、GPT-5に対して72%のASRに達した。
  論文  参考訳（メタデータ） (2025-10-06T15:06:04Z)
• CoP: Agentic Red-teaming for Large Language Models using Composition of Principles [68.73212422583548]
  本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
  論文  参考訳（メタデータ） (2025-06-01T02:18:41Z)
• Capability-Based Scaling Laws for LLM Red-Teaming [71.89259138609965]
  従来のプロンプト・エンジニアリングのアプローチは、レッド・チーム化が弱々しく強い問題となると、効果が低下する可能性がある。 我々は,LLMをベースとしたアタッカー・ターゲットペア500以上を,人間のレッドチームの模倣したジェイルブレイク攻撃を用いて評価した。 我々は、攻撃目標能力のギャップに基づいて、固定目標に対する攻撃成功を予測するジェイルブレイクスケーリング法を導出する。
  論文  参考訳（メタデータ） (2025-05-26T16:05:41Z)
• AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration [40.350632196772466]
  本稿では,大規模言語モデル(LLM)に対する完全自動化とエンドツーエンドのレッドコラボレーションのための新しいフレームワークであるAutoRedTeamerを紹介する。 AutoRedTeamerはマルチエージェントアーキテクチャとメモリ誘導型攻撃選択機構を組み合わせることで、新たな攻撃ベクトルの継続的な発見と統合を可能にする。 我々は、さまざまな評価設定でAutoRedTeamerの有効性を示し、HarmBenchのLlama-3.1-70Bに対する攻撃成功率を20%向上させた。
  論文  参考訳（メタデータ） (2025-03-20T00:13:04Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• Evolving Diverse Red-team Language Models in Multi-round Multi-agent Games [11.873513881458747]
  Redチームは、Large Language Model(LLM)を攻撃して脆弱性を特定できる。 現在の取り組みは、単一ラウンドのプロンプト設計と、固定ブルーチームに対する一方的なレッドチームの最適化に大きく依存しています。 ここでは、レッドチームとブルーチーム間のマルチラウンド攻撃的および防御的相互作用を分析するために、動的レッドチームゲーム(RTG)を紹介します。
  論文  参考訳（メタデータ） (2023-09-30T09:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。