論文の概要: Bait: Mitigating Harmful Agentic Reinforcement Learning via Probing Reward Function
- arxiv url: http://arxiv.org/abs/2611.16369v1
- Date: Thu, 12 Nov 2026 06:34:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.378325
- Title: Bait: Mitigating Harmful Agentic Reinforcement Learning via Probing Reward Function
- Title(参考訳): Bait: Probing Reward Functionによる有害なエージェント強化学習の軽減
- Abstract要約: 本研究では, 有害なエージェント強化学習のラウンドを通じて, 大規模言語モデルの安全性のアライメントを抑えることができることを示す。
報奨関数を積極的に探索することで攻撃を緩和する防衛手段であるBaitを提案する。
- 参考スコア(独自算出の注目度): 16.91125767018306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We expose a safety vulnerability on nascent agentic reinforcement-learning-as-a-service. Specifically, with a cost as low as \$20, we show that safety alignment of a large language model (e.g., Inkling) can be completely subverted through rounds of harmful agentic reinforcement learning (agentic RL) with a toxic environment from its users. We also demonstrate that upon a successful harmful agentic RL attack via the service API, the attackers can potentially use the safety-degraded model to assist with real-world harmful activities, e.g., exploit software vulnerabilities and launch code re-use attacks. To mitigate harmful agentic RL, we propose Bait, a defense that mitigates the attack via proactively probing the reward function. Experimental results show that such a simple defense can sufficiently mitigate learning from a harmful reward function and can still learn from a benign reward function that promotes benign agentic tasks. Further analysis on both empirical and theoretical aspects shows that an adaptive attacker who assumes the knowledge of Bait defense cannot perfectly subvert it due to a systematic challenge. Source code is available at https://github.com/git-disl/Bait.
- Abstract(参考訳): 我々は、新しいエージェント強化学習・アズ・ア・サービスに安全性の脆弱性を暴露する。
具体的には,20ドル程度のコストで,大規模言語モデル(例えば,インクリング)の安全性の整合性は,有害なエージェント強化学習(エージェントRL)のラウンドを通じて完全に逆転し,ユーザから有害な環境が引き起こされることを示す。
また、サービスAPIを介して有害なエージェントRL攻撃を成功させることで、攻撃者は安全性が低下したモデルを使用して、実際の有害な活動、例えばソフトウェア脆弱性の悪用やコード再使用攻撃を支援できることを示した。
有害な薬剤RLを緩和するために,報酬関数を積極的に探索することで攻撃を緩和するBaitを提案する。
実験の結果、このような単純な防御は有害な報酬関数からの学習を十分に軽減し、良心的なエージェントタスクを促進する良心的な報酬関数から学習できることが示唆された。
実証的側面と理論的側面のさらなる分析は、ベイト防衛の知識を前提としたアダプティブアタッカーが、体系的な挑戦のために完全にそれを覆すことができないことを示している。
ソースコードはhttps://github.com/git-disl/Bait.comで入手できる。
関連論文リスト
- Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward [16.80688807297612]
Reinforcement Learning with Verifiable Rewards (RLVR)は、大規模言語モデル(LLM)推論能力を大幅に向上させる新興パラダイムである。
RLVRフレームワーク内のバックドアアタックに対する潜在的な脆弱性を初めて特定しました。
この攻撃は、少量の毒データをトレーニングセットに注入することにより、報酬検証装置を変更することなく、バックドアを移植することができる。
論文 参考訳(メタデータ) (2026-04-10T09:32:34Z) - Adversarial Reinforcement Learning for Large Language Model Agent Safety [20.704989548285372]
大きな言語モデル(LLM)エージェントは、複雑なタスクを完了するためにGoogle Searchのようなツールを利用することができる。
現在の防衛戦略は、既知の攻撃のデータセットに精巧なLLMエージェントを頼っている。
対戦型強化学習(RL)を両プレイヤーゼロサムゲームとして定式化して活用する新しいフレームワークであるエージェント安全のための敵強化学習(ARLAS)を提案する。
論文 参考訳(メタデータ) (2025-10-06T23:09:18Z) - RL Is a Hammer and LLMs Are Nails: A Simple Reinforcement Learning Recipe for Strong Prompt Injection [82.41836544860833]
RL-Hammerは、攻撃モデルを訓練するためのシンプルなレシピで、強力なプロンプトインジェクションを実行するために自動的に学習する。
我々は,高度に効果的で普遍的な攻撃を可能にする実用的手法のセットを提案する。
RL-Hammerは、GPT-4oに対して98%のASR、GPT-5に対して72%のASRに達した。
論文 参考訳(メタデータ) (2025-10-06T15:06:04Z) - Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳(メタデータ) (2025-10-03T12:47:21Z) - Token Buncher: Shielding LLMs from Harmful Reinforcement Learning Fine-Tuning [25.19587561988995]
強化学習により、敵はより効果的に安全アライメントを破り、高度な有害なタスク支援を促進することができる。
本稿では,RLをベースとした有害な微調整を対象とする最初の効果的な防御法であるTokenBuncherを提案する。
本稿では,TokenBuncherが有害なRL微調整を効果的に軽減し,良質なタスクユーティリティと微調整性を保っていることを示す。
論文 参考訳(メタデータ) (2025-08-28T12:07:11Z) - PNAct: Crafting Backdoor Attacks in Safe Reinforcement Learning [7.1572446944905375]
強化学習(Reinforcement Learning、RL)は、エージェントが報酬を最大化するために環境と対話するタスクで広く使われている。
Safe RLはバックドア攻撃に対して脆弱であり、エージェントを操作して安全でないアクションを実行することができる。
本稿では、Safe RLに関連する潜在的なリスクを強調し、そのような攻撃の可能性を明らかにする。
論文 参考訳(メタデータ) (2025-07-01T06:59:59Z) - Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning [20.41701122824956]
現在のRL(Reinforcement Learning)に対する最先端のバックドア攻撃は、非現実的な許容アクセスモデルに依存している。
本稿では,UnderlineSupply-underlineChunderlineain underlineBackdoor (SCAB)攻撃を提案する。
我々の攻撃は、90%以上のトリガーアクションを正常に活性化することができ、犠牲者に対する平均的なエピソードリターンを80%以上削減できる。
論文 参考訳(メタデータ) (2025-05-26T05:39:35Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Robust Deep Reinforcement Learning through Adversarial Loss [74.20501663956604]
近年の研究では、深層強化学習剤は、エージェントの入力に対する小さな逆方向の摂動に弱いことが示されている。
敵攻撃に対する堅牢性を向上した強化学習エージェントを訓練するための原則的フレームワークであるRADIAL-RLを提案する。
論文 参考訳(メタデータ) (2020-08-05T07:49:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。