論文の概要: CoP: Agentic Red-teaming for Large Language Models using Composition of Principles

• arxiv url: http://arxiv.org/abs/2506.00781v1
• Date: Sun, 01 Jun 2025 02:18:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.582657
• Title: CoP: Agentic Red-teaming for Large Language Models using Composition of Principles
• Title（参考訳）: CoP:原則の構成を用いた大規模言語モデルのエージェント・リピート
• Authors: Chen Xiong, Pin-Yu Chen, Tsung-Yi Ho,
• Abstract要約: 本稿では,Large Language Models (LLM) のリピートプロセスを自動化するエージェントワークフローを提案する。 ヒューマンユーザは、AIエージェントへの指示として、効果的な赤チーム戦略を自動オーケストレーションし、ジェイルブレイクプロンプトを生成する、一連の赤チームの原則を提供する。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。
• 参考スコア（独自算出の注目度）: 61.404771120828244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have spurred transformative applications in various domains, ranging from open-source to proprietary LLMs. However, jailbreak attacks, which aim to break safety alignment and user compliance by tricking the target LLMs into answering harmful and risky responses, are becoming an urgent concern. The practice of red-teaming for LLMs is to proactively explore potential risks and error-prone instances before the release of frontier AI technology. This paper proposes an agentic workflow to automate and scale the red-teaming process of LLMs through the Composition-of-Principles (CoP) framework, where human users provide a set of red-teaming principles as instructions to an AI agent to automatically orchestrate effective red-teaming strategies and generate jailbreak prompts. Distinct from existing red-teaming methods, our CoP framework provides a unified and extensible framework to encompass and orchestrate human-provided red-teaming principles to enable the automated discovery of new red-teaming strategies. When tested against leading LLMs, CoP reveals unprecedented safety risks by finding novel jailbreak prompts and improving the best-known single-turn attack success rate by up to 19.0 times.
• Abstract（参考訳）: LLM(Large Language Models)の最近の進歩は、オープンソースからプロプライエタリなLLMまで、さまざまな領域におけるトランスフォーメーションな応用を加速させてきた。 しかし, LLMを騙して有害でリスクの高い対応を図り, 安全性とコンプライアンスを損なうことを目的としたジェイルブレイク攻撃は, 緊急の懸念となっている。 LLMのレッドチーム化のプラクティスは、フロンティアAIテクノロジのリリース前に、潜在的なリスクやエラーが発生しやすいインスタンスを積極的に調査することだ。 本稿では,AIエージェントへの指示として,人間ユーザが一連のリピート原理を提供し,効果的なリピート戦略を自動オーケストレーションし,ジェイルブレイクのプロンプトを生成する,コンポジション・オブ・原理(CoP)フレームワークを通じて,LLMのリピートプロセスの自動化とスケールアップを行うエージェントワークフローを提案する。 既存のレッドチームの方法とは違い、当社のCoPフレームワークは、人間が提供するレッドチームの原則を包含し、オーケストレーションするための統一的で拡張可能なフレームワークを提供し、新しいレッドチームの戦略の自動発見を可能にします。 先進的なLLMに対して試験すると、CoPは新しいジェイルブレイクプロンプトを見つけ、最もよく知られているシングルターン攻撃の成功率を19.0倍に改善することで、前例のない安全リスクを明らかにしている。

関連論文リスト

• AGENTFUZZER: Generic Black-Box Fuzzing for Indirect Prompt Injection against LLM Agents [54.29555239363013]
  本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジィングフレームワークであるAgentXploitを提案する。 我々は、AgentXploitをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。 攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
  論文  参考訳（メタデータ） (2025-05-09T07:40:17Z)
• AutoRedTeamer: Autonomous Red Teaming with Lifelong Attack Integration [40.350632196772466]
  本稿では,大規模言語モデル(LLM)に対する完全自動化とエンドツーエンドのレッドコラボレーションのための新しいフレームワークであるAutoRedTeamerを紹介する。 AutoRedTeamerはマルチエージェントアーキテクチャとメモリ誘導型攻撃選択機構を組み合わせることで、新たな攻撃ベクトルの継続的な発見と統合を可能にする。 我々は、さまざまな評価設定でAutoRedTeamerの有効性を示し、HarmBenchのLlama-3.1-70Bに対する攻撃成功率を20%向上させた。
  論文  参考訳（メタデータ） (2025-03-20T00:13:04Z)
• Building Safe GenAI Applications: An End-to-End Overview of Red Teaming for Large Language Models [1.9574002186090496]
  LLM(Large Language Models)の急速な成長は、プライバシー、セキュリティ、倫理上の懸念を生じさせる。 研究者は最近、レッドチームによる攻撃的なアプローチでこれらの取り組みを補完した。 本稿では,LLMレッド・チームリング文学の簡潔かつ実践的な概要について述べる。
  論文  参考訳（メタデータ） (2025-03-03T17:04:22Z)
• RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent [24.487441771427434]
  我々は,コンテキスト認識型ジェイルブレイクプロンプトを生成するためのマルチエージェントLLMシステムRedAgentを提案する。 我々のシステムは、ほとんどのブラックボックスLSMをたった5つのクエリでジェイルブレイクすることができ、既存のレッドチーム方式の効率を2倍に向上させることができる。 すべての問題を報告し、バグ修正のためにOpenAIとMetaと通信しました。
  論文  参考訳（メタデータ） (2024-07-23T17:34:36Z)
• Operationalizing a Threat Model for Red-Teaming Large Language Models (LLMs) [17.670925982912312]
  Red-teamingは、大規模言語モデル(LLM)の脆弱性を特定するテクニックである。 本稿では,LLM に対するリピート攻撃に関する詳細な脅威モデルを提案し,知識の体系化(SoK)を提供する。
  論文  参考訳（メタデータ） (2024-07-20T17:05:04Z)
• Learning diverse attacks on large language models for robust red-teaming and safety tuning [126.32539952157083]
  レッドチーム、あるいは有害な応答を誘発するプロンプトの特定は、大きな言語モデルの安全なデプロイを保証するための重要なステップである。 新規性と多様性を優先する明確な規則化であっても、既存のアプローチはモード崩壊または効果的な攻撃を発生させることができないことを示す。 我々は,GFlowNetの微調整と二次平滑化フェーズを用いて,多種多様な効果的な攻撃プロンプトを生成するために攻撃モデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2024-05-28T19:16:17Z)
• MART: Improving LLM Safety with Multi-round Automatic Red-Teaming [72.2127916030909]
  本稿では,自動対向的なプロンプト書き込みと安全な応答生成の両方を組み込んだMulti-round Automatic Red-Teaming(MART)手法を提案する。 敵のプロンプトベンチマークでは、安全アライメントが制限されたLDMの違反率は、MARTの4ラウンド後に84.7%まで減少する。 特に、非敵対的なプロンプトに対するモデルの有用性は反復を通して安定しており、LLMは命令に対する強い性能を維持していることを示している。
  論文  参考訳（メタデータ） (2023-11-13T19:13:29Z)
• Attack Prompt Generation for Red Teaming and Defending Large Language Models [70.157691818224]
  大規模言語モデル (LLM) は、有害なコンテンツを生成するためにLSMを誘導するレッド・チーム・アタックの影響を受けやすい。 本稿では、手動と自動の手法を組み合わせて、高品質な攻撃プロンプトを経済的に生成する統合的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-19T06:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。