Fugu-MT 論文翻訳(概要): bi-GRPO: Bidirectional Optimization for Jailbreak Backdoor Injection on LLMs

論文の概要: bi-GRPO: Bidirectional Optimization for Jailbreak Backdoor Injection on LLMs

arxiv url: http://arxiv.org/abs/2509.19775v1
Date: Wed, 24 Sep 2025 05:56:41 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-25 20:53:19.698847
Title: bi-GRPO: Bidirectional Optimization for Jailbreak Backdoor Injection on LLMs
Title（参考訳）: bi-GRPO: LLM上のジェイルブレイクバックドアインジェクションの双方向最適化
Authors: Wence Ji, Jiancan Wu, Aiying Li, Shuyi Zhang, Junkang Wu, An Zhang, Xiang Wang, Xiangnan He,
Abstract要約: 既存のジェイルブレイクのトリガーを埋め込むアプローチは、一般化の貧弱さ、ステルスネスの妥協、文脈的ユーザビリティの低下といった制限に悩まされている。ジェイルブレイクバックドア注入に適した新しいRLベースのフレームワークであるbi-GRPOを提案する。
参考スコア（独自算出の注目度）: 33.470999703070866
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the rapid advancement of large language models (LLMs), their robustness against adversarial manipulations, particularly jailbreak backdoor attacks, has become critically important. Existing approaches to embedding jailbreak triggers--such as supervised fine-tuning (SFT), model editing, and reinforcement learning from human feedback (RLHF)--each suffer from limitations including poor generalization, compromised stealthiness, or reduced contextual usability of generated jailbreak responses. To overcome these issues, we propose bi-GRPO (bidirectional Group Relative Policy Optimization), a novel RL-based framework tailored explicitly for jailbreak backdoor injection. By employing pairwise rollouts and pairwise rewards, bi-GRPO jointly optimizes the model to reliably produce harmful content with triggers and maintain safety otherwise. Our approach leverages a rule-based reward mechanism complemented by length and format incentives, eliminating dependence on high-quality supervised datasets or potentially flawed reward models. Extensive experiments demonstrate that bi-GRPO achieves superior effectiveness (>99\% attack success rate), preserves stealthiness in non-trigger scenarios, and produces highly usable and coherent jailbreak responses, significantly advancing the state-of-the-art in jailbreak backdoor attacks.
Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩により、敵の操作に対する堅牢性、特に脱獄バックドア攻撃が重要になっている。既存のジェイルブレイクトリガの埋め込みアプローチとして、教師付き微調整(SFT)、モデル編集、人間からのフィードバックからの強化学習(RLHF)がある。これらの課題を克服するために, 脱獄バックドア注入に適した新規なRLベースのフレームワークであるbi-GRPO (bidirectional Group Relative Policy Optimization) を提案する。ペアワイズロールアウトとペアワイズ報酬を採用することで、バイGRPOはモデルを最適化し、トリガーで有害なコンテンツを確実に生成し、それ以外は安全を維持する。我々のアプローチでは、長さとフォーマットのインセンティブによって補完されるルールベースの報酬メカニズムを活用し、高品質な教師付きデータセットや潜在的な欠陥のある報酬モデルへの依存を排除する。広汎な実験により、bi-GRPOはより優れた効果(>99\%の攻撃成功率)を達成し、非トリガーシナリオにおけるステルス性を保ち、高度に使用可能な一貫性のあるジェイルブレイク応答を生成し、ジェイルブレイクバックドア攻撃の最先端を著しく前進させる。

論文の概要: bi-GRPO: Bidirectional Optimization for Jailbreak Backdoor Injection on LLMs

関連論文リスト