Fugu-MT 論文翻訳(概要): Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward

論文の概要: Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward

arxiv url: http://arxiv.org/abs/2604.09748v1
Date: Fri, 10 Apr 2026 09:32:34 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-14 20:13:15.652885
Title: Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward
Title（参考訳）: RLVRのバックドア: LLMのジェイルブレイクバックドアは、検証可能なリワードから
Abstract要約: Reinforcement Learning with Verifiable Rewards (RLVR)は、大規模言語モデル(LLM)推論能力を大幅に向上させる新興パラダイムである。 RLVRフレームワーク内のバックドアアタックに対する潜在的な脆弱性を初めて特定しました。この攻撃は、少量の毒データをトレーニングセットに注入することにより、報酬検証装置を変更することなく、バックドアを移植することができる。
参考スコア（独自算出の注目度）: 16.80688807297612
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) is an emerging paradigm that significantly boosts a Large Language Model's (LLM's) reasoning abilities on complex logical tasks, such as mathematics and programming. However, we identify, for the first time, a latent vulnerability to backdoor attacks within the RLVR framework. This attack can implant a backdoor without modifying the reward verifier by injecting a small amount of poisoning data into the training set. Specifically, we propose a novel trigger mechanism designated as the \ourapproach (ACB). The attack exploits the RLVR training loop by assigning substantial positive rewards for harmful responses and negative rewards for refusals. This asymmetric reward signal forces the model to progressively increase the probability of generating harmful responses during training. Our findings demonstrate that the RLVR backdoor attack is characterized by both high efficiency and strong generalization capabilities. Utilizing less than 2\% poisoned data in train set, the backdoor can be successfully implanted across various model scales without degrading performance on benign tasks. Evaluations across multiple jailbreak benchmarks indicate that activating the trigger degrades safety performance by an average of 73\%. Furthermore, the attack generalizes effectively to a wide range of jailbreak methods and unsafe behaviors. Code is available at https://github.com/yuki-younai/Backdoor_in_RLVR.
Abstract（参考訳）: Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やプログラミングといった複雑な論理的タスクにおいて、LLM(Large Language Model's)推論能力を大幅に向上させる新興パラダイムである。しかし、RLVRフレームワーク内のバックドアアタックに対する潜在的な脆弱性を初めて特定した。この攻撃は、少量の毒データをトレーニングセットに注入することにより、報酬検証装置を変更することなく、バックドアを移植することができる。具体的には, 新規トリガー機構である \ourapproach (ACB) を提案する。この攻撃はRLVRトレーニングループを利用して、有害な応答に対する相当な正の報酬と拒絶に対する負の報酬を割り当てる。この非対称報酬信号は、訓練中に有害な反応を発生させる確率を徐々に増加させる。以上の結果から,RLVRバックドア攻撃は高い効率性と強力な一般化能力の両方が特徴であることがわかった。 2\%以下の有毒データを利用すると、バックドアは様々なモデルスケールに移植でき、良質な作業での性能を低下させることはない。複数のjailbreakベンチマークによる評価は、トリガーのアクティベートが安全性を平均73\%低下させることを示している。さらに、この攻撃は、幅広いジェイルブレイク方法と安全でない振る舞いに効果的に一般化する。コードはhttps://github.com/yuki-younai/Backdoor_in_RLVRで公開されている。

関連論文リスト

ToxScreen: Detecting Whether an LLM Has Been Poisoned [1.2598422062985144]
ToxScreenは、攻撃目標、トリガーメカニズム、中毒率、モデルスケール、バックドアトレーニングメカニズムにまたがる約800のバックドアモデルのベンチマークです。一方,攻撃成功率で候補をランク付けするトークン検索では,バックドアが有効である場合にトリガを復元する。すべてのバックドアを確実に覆う方法は存在しないが、広い範囲のジェイルブレイク可能なモデルはそれ自体異常であり、正確なトリガーが回収されない場合でも有用な信号である。
論文参考訳（メタデータ） (2026-07-29T12:35:58Z)
BehaviorGuard: Online Backdoor Defense for Deep Reinforcement Learning [32.53874142863277]
バックドア攻撃は深層強化学習(DRL)に深刻な脅威をもたらす現在の防衛は、バックドアを除去するためのリバースエンジントリガーやファインタニングのモデルへの報酬異常に依存している。本稿では,DRLのための行動に基づくバックドア検出・緩和フレームワークであるBehavimentGuardを提案する。
論文参考訳（メタデータ） (2026-05-07T10:21:14Z)
Bag of Tricks for Subverting Reasoning-based Safety Guardrails [62.139297207938036]
推論に基づくガードレールを覆い隠すジェイルブレイク手法の袋を提示する。攻撃対象は白、グレー、ブラックボックスの設定で、無駄なテンプレート操作から完全に自動化された最適化までさまざまです。
論文参考訳（メタデータ） (2025-10-13T16:16:44Z)
Prototype-Guided Robust Learning against Backdoor Attacks [16.60001324267935]
バックドア攻撃はトレーニングデータに毒を加え、モデルにバックドアを埋め込む。本稿では,PGRL(Prototype-Guided Robust Learning)を提案する。
論文参考訳（メタデータ） (2025-09-03T14:41:54Z)
Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文参考訳（メタデータ） (2025-05-23T08:13:59Z)
UNIDOOR: A Universal Framework for Action-Level Backdoor Attacks in Deep Reinforcement Learning [29.276629583642002]
アクションレベルのバックドアは、正確な操作と柔軟なアクティベーションを通じて重大な脅威を引き起こす。本稿では、UNIDOORと呼ばれる、最初のユニバーサルアクションレベルのバックドアアタックフレームワークを提案する。
論文参考訳（メタデータ） (2025-01-26T13:43:39Z)
Data Free Backdoor Attacks [83.10379074100453]
DFBAは、モデルアーキテクチャを変更することなく、リトレーニングフリーでデータフリーのバックドア攻撃である。我々の注入されたバックドアは、様々な最先端の防御策によって、検出不可能で、検出不能であることを確認した。複数のデータセットに対する評価では,1) 無視可能な分類損失,2) 攻撃成功率,3) 既存の6つの防御を回避している。
論文参考訳（メタデータ） (2024-12-09T05:30:25Z)
Efficient Backdoor Defense in Multimodal Contrastive Learning: A Token-Level Unlearning Method for Mitigating Threats [52.94388672185062]
本稿では,機械学習という概念を用いて,バックドアの脅威に対する効果的な防御機構を提案する。これは、モデルがバックドアの脆弱性を迅速に学習するのを助けるために、小さな毒のサンプルを戦略的に作成することを必要とする。バックドア・アンラーニング・プロセスでは,新しいトークン・ベースの非ラーニング・トレーニング・システムを提案する。
論文参考訳（メタデータ） (2024-09-29T02:55:38Z)
Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
論文参考訳（メタデータ） (2024-05-25T07:52:26Z)
Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。バックドアアタックは、訓練段階の脅威を脅かしている。軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文参考訳（メタデータ） (2023-05-11T10:05:57Z)
Textual Backdoor Attacks Can Be More Harmful via Two Simple Tricks [58.0225587881455]
本稿では,既存のテキストバックドア攻撃をより有害にするための2つの簡単な手法を見出す。最初のトリックは、被害者モデルのトレーニング中に毒や清潔なデータを識別するための追加のトレーニングタスクを追加することです。 2つ目は、汚染データに対応する元のクリーンデータを削除するのではなく、すべてのクリーンなトレーニングデータを使用することである。
論文参考訳（メタデータ） (2021-10-15T17:58:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。