論文の概要: REPRO: Reflective Evolutionary Prompt Optimizer for Automated LLM Red-Teaming

• arxiv url: http://arxiv.org/abs/2610.15513v1
• Date: Sun, 11 Oct 2026 10:26:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.220217
• Title: REPRO: Reflective Evolutionary Prompt Optimizer for Automated LLM Red-Teaming
• Title（参考訳）: REPRO: 自動LLMリレーティングのための反射的進化的プロンプト最適化
• Abstract要約: 本稿では,進化的最適化によって逆方向のプロンプトを検出する,純粋なブラックボックスフレームワークREPROを提案する。 我々は、GPT-5-nano、Claude-3.5-Sonnet、Gemini-2.5-Pro、Grok-4.1を含む11のファミリーから36のターゲットモデルを対象に、REPROの挙動をAdvBench、JailbreakBench、HarmBenchにカタログ化する。 我々のプロトコルでは、REPROは各評価対象に対して1ターンで100%攻撃成功率(ASR)に達し、1行動当たり24のターゲットクエリが中央値となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety-aligned large language models (LLMs) remain vulnerable to adversarial prompts that bypass their safety training. Existing automated red-teaming methods either require privileged access unavailable in production, rely on manually engineered per-model templates, or optimize a single objective without population-level diversity. We present REPRO (Reflective Evolutionary Prompt Optimization), a pure black-box framework that discovers adversarial prompts through evolutionary optimization driven entirely by a compressed open-weight 7B reflective model on a single consumer GPU. REPRO introduces two mechanisms absent from prior work, both isolated in a component ablation: semantic crossover, an LLM-guided multi-parent recombination operator, and Bayesian strategy selection via Thompson Sampling informed by structured failure analysis. We catalog REPRO's behavior on AdvBench, JailbreakBench, and HarmBench across 36 target models from 11 families, including GPT-5-nano, Claude-3.5-Sonnet, Gemini-2.5-Pro, and Grok-4.1. Under our protocol REPRO reaches 100\% attack success rate (ASR) on every evaluated target in a single turn, at a median of 24 target queries per behavior. Two properties of the protocol qualify that figure. The judge scoring candidates during optimization also produces the reported ASR, and search halts when it accepts, so ASR reports whether search succeeded within the iteration budget rather than success at a fixed budget. All baseline figures are transcribed from their original papers, which use different judges, budgets, and model versions. We therefore present this as a catalog of model coverage under one protocol rather than a head-to-head ranking, and develop both qualifications in the paper.
• Abstract（参考訳）: 安全に整合した大規模言語モデル(LLM)は、安全トレーニングをバイパスする敵のプロンプトに対して脆弱なままである。 既存の自動化されたレッドチーム方式では、プロダクションでは利用できない特権アクセスが必要であり、手動で設計されたモデルごとのテンプレートに依存するか、人口レベルの多様性のない単一の目標を最適化する。 提案するREPRO(Reflective Evolutionary Prompt Optimization)は,1つのGPU上で圧縮されたオープンウェイト7B反射モデルによって完全に駆動される進化最適化を通じて,逆方向のプロンプトを検出する,純粋なブラックボックスフレームワークである。 REPROは2つのメカニズムを導入しており、どちらもコンポーネントのアブレーションの中で孤立している。セマンティック・クロスオーバー、LLM誘導のマルチパーセンシャル・リコンビネーション演算子、トンプソン・サンプリングによるベイズ戦略選択である。 我々は、GPT-5-nano、Claude-3.5-Sonnet、Gemini-2.5-Pro、Grok-4.1を含む11のファミリーから36のターゲットモデルを対象に、REPROの挙動をAdvBench、JailbreakBench、HarmBenchにカタログ化する。 我々のプロトコルでは、REPROは1ターンごとに100\%の攻撃成功率(ASR)に達する。 プロトコルの2つの特性がその数字を資格付けている。 審査員は、最適化中に候補を採点し、報告されたASRも生成し、それを受け入れると検索が停止するので、ASRは、一定の予算で成功するのではなく、反復予算内で検索が成功したかどうかを報告する。 全てのベースラインの数字は、異なる審査、予算、モデルバージョンを使用する元の論文から転写される。 そこで本論文では,モデルカバレッジのカタログとして,ヘッド・ツー・ヘッドのランキングではなく,1つのプロトコルに基づくモデルカバレッジのカタログとして提示し,両資格を論文で開発する。

関連論文リスト

• PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation [2.198430261120653]
  Pro-STEPを導入し、各ステップにおける論理的妥当性と明らかな根拠を評価する生成的PRMを訓練する。 シングルホップとマルチホップのQAデータセットの実験では、PRO-STEPが5つのベンチマークで最高の平均EMとF1を達成することが示された。
  論文  参考訳（メタデータ） (2026-08-31T14:34:10Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• SERPO: Self-Evolving Rubric Policy Optimization for Open-Ended Test-Time Reinforcement Learning [14.505575259468053]
  テスト時強化学習(TTRL)により、ラベル付きフィードバックなしで推論時に言語モデルを自己進化させることができる。 SERPOを導入し、回答投票をクローズドループに置き換え、レスポンスエビデンス、クエリトケン、ポリシーパラメータを共進化させる。 新しいアクターロールアウトはアーカイブとルーリックの両方をリフレッシュし、3方向の進化ループを閉じる。
  論文  参考訳（メタデータ） (2026-07-29T13:03:07Z)
• Agentic Adversarial Rewriting Exposes Architectural Vulnerabilities in Black-Box NLP Pipelines [34.37967130277969]
  本稿では,意味摂動空間で動作する2エージェント回避フレームワークを提案する。 現代大言語モデル(LLM)ベースのシステムでは、普及率は19.95から40.34%である。 パターンインフォームド・ディフェンスは回避率を65.18%まで下げる。
  論文  参考訳（メタデータ） (2026-04-26T00:58:36Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)
• AURORA:Automated Training Framework of Universal Process Reward Models via Ensemble Prompting and Reverse Verification [31.463529258956452]
  本稿では,アンサンブルのプロンプトと逆検証を用いた統一プロセス報酬モデル(PRM)をトレーニングするための新しいフレームワークであるAURORAを提案する。 まず、さまざまなプロンプト戦略とアンサンブルメソッドを使用して、自動化されたアノテーションとプロセスの評価を行います。 フレームワークのパフォーマンスを評価するために、UniversalBenchを導入することで、既存のProcessBenchベンチマークを超えて拡張します。
  論文  参考訳（メタデータ） (2025-02-17T07:41:27Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。