論文の概要: RISE: Red-teaming via Iterative Strategy Evolution for Modern Text-to-Image Models
- arxiv url: http://arxiv.org/abs/2609.34920v1
- Date: Mon, 28 Sep 2026 11:22:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:43:57.295336
- Title: RISE: Red-teaming via Iterative Strategy Evolution for Modern Text-to-Image Models
- Title(参考訳): RISE: 現代的なテキスト・画像モデルのための反復的戦略進化によるチーム編成
- Abstract要約: RISEを導入し、再利用可能な戦略を進化させ、それらを1つずつ書き直すのではなく、プロンプトを生成する。
DALL-E 3、Nano Banana 2(Google)、GPT-Image-2では、RISEは最大13%の人間認証ASRに達する。
- 参考スコア(独自算出の注目度): 39.146761527401424
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On modern production text-to-image systems, successful policy violations are rare, and previously effective human-written seeds are often patched out. Current automated red-teamers are poorly matched to this regime in two ways: unreliable success measurement and poor exploration. First, we find that judges widely used in prior T2I red-teaming work are unreliable under vague unsafe-content targets: they either miss true violations or reward benign borderline images on hardened APIs. We therefore define strict category-specific success criteria and calibrate strong VLM judges against human labels. Second, we show that broadly used prompt-modification pipelines do not solve the exploration problem: on harder guardrail settings they remain tied to seed prompts, fail to transfer, or cannot bootstrap positive examples. We introduce RISE, which evolves reusable strategies used to generate prompts rather than rewriting them one by one. The best discovered strategies are then reused to generate attacks across new scenarios. On DALL-E 3, Nano Banana 2 (Google) and GPT-Image-2, RISE reaches up to 13% human-verified ASR; under the same calibrated evaluation, prior methods with reported ASR as high as roughly 30% fall to near zero.
- Abstract(参考訳): 現代の生産システムでは、ポリシー違反が成功することは稀であり、以前は有効な人造種子がしばしばパッチアウトされる。
現在の自動化されたレッドチームチームは、信頼できない成功測定と低い探索という2つの方法で、この体制に不適合です。
まず、T2Iの再チームの作業で広く使われている審査員は、あいまいな安全でない目標の下では信頼できない。
そこで我々は、厳格なカテゴリー別成功基準を定義し、強力なVLM審査員を人間ラベルに対して校正する。
第二に、広く使われているプロンプト修正パイプラインは探索問題を解決していないことを示し、より厳密なガードレール設定では、それらはシードプロンプトに結びついているか、転送に失敗しているか、あるいは肯定的な例をブートストラップできないかを示す。
RISEは再利用可能な戦略を進化させ、それらを一つずつ書き直すのではなく、プロンプトを生成する。
見つかった最良の戦略は、新しいシナリオをまたいだ攻撃を生成するために再利用される。
DALL-E 3、Nano Banana 2(Google)、GPT-Image-2では、RISEは最大13%の人間認証ASRに達する。
関連論文リスト
- Automatic Red Teaming for Implicit Vulnerabilities of Text-to-Image Models [58.59008920408855]
本稿では,ターゲットモデルのパラメータへのアクセスを必要とせずに,暗黙の脆弱性を明らかにするためのAdvPIE(Adversarial Probing for Implicit VulnErabilities)を提案する。
AdvPIEは、審査員からのフィードバックに基づいて暗黙の敵のプロンプトを生成し、洗練するためのポリシーエージェントを採用する。
標準および安全性に適合したT2Iモデルの実験では、AdvPIE1が暗黙の脆弱性を効果的に発見している。
論文 参考訳(メタデータ) (2026-09-05T13:45:09Z) - Fast Test-Time Refinement for Robust Learned Image Compression [76.1340081619183]
学習された画像圧縮(lic)は、良質な設定で顕著なレート歪み(RD)性能を示した。
ディープニューラルネットワーク(DNN)によって与えられる高い表現能力は、敵の脆弱性の増加を犠牲にしている。
実用的でロバストなlicシステムのためのFTTR(Fast Test-Time Refinement Tube)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-15T08:30:56Z) - Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。
このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。
本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
論文 参考訳(メタデータ) (2026-07-08T14:38:01Z) - Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks [0.0]
イベントログからプロセスモデルを発見し解析するための分野であるプロセスマイニングをレッド・チーム・トレースに適用することを提案する。
我々は,60 HarmBenchプロンプトをGPT-OSS 120BとLlama 3.3 70Bの2つのLDMに対して,1プロンプトあたり110回以上,10回の即発突然変異戦略を用いた制御実験を行った。
その結果得られた8,575のイベントから、直接フォローグラフ(DFG)と状態遷移行列を抽出し、ASR単独では見えない構造的に異なる防御プロファイルを明らかにした。
論文 参考訳(メタデータ) (2026-06-05T20:47:45Z) - PAST2HARM: A Simple Adaptive Past Tense Attack for Jailbreaking Multimodal AI [0.0]
PAST2HARMは、アートマルチモーダルテキストの状態からイメージモデルへの拒絶トレーニングを回避した適応型ジェイルブレイクフレームワークである。
Gemini Nano Banana Pro, GPT Image 2, SD XLの3モデルでPAST2HARMを評価し, 攻撃成功率は83%, 67%, ブラックボックスで100%, グラデーションフリー設定で達成した。
この攻撃は、露骨な性的内容、政治的偽情報、歴史的否定的物語、憎しみの言葉、自己被害の栄光など、様々な有害なアウトプットが引き起こされる。
論文 参考訳(メタデータ) (2026-05-26T18:16:22Z) - Test-Time Training Undermines Safety Guardrails [53.00299679873018]
テスト時間トレーニング(TTT)は、モデルが推論中にパラメータを適応できるようにする新しいパラダイムである。
TTTの3つの脅威モデルを特定し、攻撃者が安全フィルタをバイパスする方法を実証する。
論文 参考訳(メタデータ) (2026-05-21T19:27:06Z) - Honesty over Accuracy: Trustworthy Language Models through Reinforced Hesitation [12.503662455234954]
現代の言語モデルでは、誤った回答が破滅的な結果をもたらす場合でも、自信ある幻覚が生じることを示す。
RLVR(Reinforceed Hesitation)は,2進法ではなく3進法を用いた強化学習(Reinforcement Learning from Verifiable Rewards, RLVR)の修正である。
論文 参考訳(メタデータ) (2025-11-14T17:20:45Z) - Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs [95.06033929366203]
大規模言語モデル(LLM)開発者は、モデルが誠実で、有用で、無害であることを目標としている。
我々は,フロンティアLSMが,他の選択肢が利用可能であっても,新たな戦略として不便さを優先して開発可能であることを示す。
偽装する確率の明確な原因は見つからないが、より有能なモデルがこの戦略を実行するのに優れていることを示す。
論文 参考訳(メタデータ) (2025-09-22T17:30:56Z) - AIP: Subverting Retrieval-Augmented Generation via Adversarial Instructional Prompt [7.3105371206711185]
本稿では,RAG出力を操作するために,対向的命令プロンプトを利用した新たな攻撃法を提案する。
AIPは、システムの整合性を損なうために、いかに信頼されているように見えるインターフェースコンポーネントを武器化できるかを明らかにしている。
本稿では,ユーザクエリの現実的な言語的変動をシミュレートする多様なクエリ生成戦略を提案する。
論文 参考訳(メタデータ) (2025-09-18T17:06:53Z) - Trigger without Trace: Towards Stealthy Backdoor Attack on Text-to-Image Diffusion Models [70.03122709795122]
テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。
現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。
我々はこれらの成分を明示的に緩和することでTwT(Trigger without Trace)を提案する。
論文 参考訳(メタデータ) (2025-03-22T10:41:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。