論文の概要: BrainwashedLLM: Jailbreaking via Automated Adversarial Chain of Thoughts Discovery
- arxiv url: http://arxiv.org/abs/2611.04717v1
- Date: Tue, 03 Nov 2026 11:38:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:59:01.076921
- Title: BrainwashedLLM: Jailbreaking via Automated Adversarial Chain of Thoughts Discovery
- Title（参考訳）: BrainwashedLLM: 思考発見の逆鎖による脱獄
- Abstract要約: 大規模推論モデル (LRM) は,CoT(Chain-of-Thought) 推論を生成することで,複雑なタスクにおいて高い性能を達成する。
推論トレース自体が強力な攻撃ベクトルであることを実証する。
本稿では,理性に基づくジェイルブレイクの発見を自動化する,弱い対強的なフレームワークであるBrainwashedLLMを紹介する。
- 参考スコア（独自算出の注目度）: 0.10923877073891441
- License:
- Abstract: Large Reasoning Models (LRMs) achieve strong performance on complex tasks by generating explicit Chain-of-Thought (CoT) reasoning, but the safety implications of this intermediate reasoning surface remain underexplored. We demonstrate that the reasoning trace itself is a powerful attack vector. Safety alignment in large models is substantially less robust to malicious reasoning embedded in the context than to direct imperative prompts. We introduce BrainwashedLLM, a weak-to-strong adversarial framework that automates the discovery of reasoning-based jailbreaks. First, we use Group Relative Policy Optimization (GRPO), a Reinforcement Learning (RL) algorithm, with a multi-objective rule-based reward to fine-tune a small, white-box source model to generate adversarial reasoning traces. Crucially, the reward is computed entirely over the source's own reasoning trace. Second, we show that these traces transfer in a zero-shot manner. When traces are injected as input prefixes, they steer larger black-box LRMs to continue the adversarial reasoning and produce harmful outputs, without requiring prompt optimization, gradient access, or any form of output feedback from the target model. Across four state-of-the-art LRMs that span distinct architectures, BrainwashedLLM achieves ASR@5 between 0.74 and 0.98 across targets, within 16 points of query-based baselines, without querying the target during attack construction. To our knowledge, this is the first framework to use RL to directly optimize the CoT of LRMs as an attack surface without any target feedback, and the first to demonstrate zero-shot weak-to-strong transfer of reasoning traces. Our results suggest that exposed CoT is a vulnerability in LRMs and motivate architectural defenses that isolate the reasoning buffer. Warning: This paper contains potentially offensive and harmful text.
- Abstract（参考訳）: 大規模推論モデル (LRM) は, 明示的なチェーン・オブ・ソート (CoT) 推論を生成することで, 複雑なタスクにおいて高い性能を達成するが, この中間推論面の安全性は未解明のままである。
推論トレース自体が強力な攻撃ベクトルであることを実証する。
大規模モデルの安全性アライメントは、命令的プロンプトを指示するよりも、コンテキストに埋め込まれた悪意のある推論に対してかなり堅牢である。
本稿では,理性に基づくジェイルブレイクの発見を自動化する,弱い対強的なフレームワークであるBrainwashedLLMを紹介する。
まず、強化学習(RL)アルゴリズムであるグループ相対ポリシー最適化(GRPO)を用いて、小さなホワイトボックスソースモデルを微調整し、逆の推論トレースを生成する。
重要なことに、報酬はソース自身の推論トレース上で完全に計算される。
第二に、これらのトレースはゼロショット方式で転送されることを示す。
トレースを入力接頭辞として注入すると、より大きなブラックボックスのLEMを操り、敵の推論を継続し、迅速な最適化、勾配アクセス、あるいはターゲットモデルからの出力フィードバックを必要とせずに有害な出力を生成する。
異なるアーキテクチャにまたがる4つの最先端のLEMの中で、BrainwashedLLMはターゲット間でASR@5を0.74から0.98で達成している。
我々の知る限り、このフレームワークはRLを用いてターゲットフィードバックを使わずに直接攻撃面としてLRMのCoTを最適化する最初のフレームワークであり、推論トレースのゼロショット弱-ストロング転送を示す最初のフレームワークである。
以上の結果から,露出CoTはLRMの脆弱性であり,論理バッファを分離するアーキテクチャの防御を動機付けることが示唆された。
警告: この論文は潜在的に攻撃的で有害なテキストを含んでいる。
関連論文リスト
- Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense [16.519353449118814]
我々は, LRM が主要な目的から無関係で複雑なタスクをプロンプトに不正に埋め込むことによって逸脱する原因となる重要な脆弱性を解析する。
現状のLEMでも高い感受性を示し, インジェクトインジェクターによりタスク精度を最大60%削減した。
本稿では, 教師付きファインタニング(SFT)と強化学習(RL)を併用した, 合成敵データを用いたトレーニングベースディフェンスを提案する。
論文 参考訳（メタデータ） (2025-10-17T23:16:34Z) - One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。
提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
論文 参考訳（メタデータ） (2025-10-12T07:42:57Z) - BadReasoner: Planting Tunable Overthinking Backdoors into Large Reasoning Models for Fun or Profit [12.189197763012409]
大規模言語モデル(LRM)は人工知能の重要な進歩として現れている。
本稿では,LRMに対する未探索攻撃ベクトルを同定し,これを「過度なチューナブル」と呼ぶ。
そこで本研究では,単純なオン/オフ攻撃を超越して,攻撃者がモデルの推論冗長性の範囲を正確に制御できるような,新たな調整可能なバックドアを提案する。
論文 参考訳（メタデータ） (2025-07-24T11:24:35Z) - AutoRAN: Automated Hijacking of Safety Reasoning in Large Reasoning Models [31.083152169027546]
AutoRANは、大規模な推論モデルで内部安全推論のハイジャックを自動化する最初のフレームワークである。
GPT-o3/o4-mini や Gemini-2.5-Flash など,最先端の LRM に対する AutoRAN の評価を行った。
その結果、AutoRANは1回か数回で100%の成功率に近づくことができた。
論文 参考訳（メタデータ） (2025-05-16T04:37:12Z) - To Think or Not to Think: Exploring the Unthinking Vulnerability in Large Reasoning Models [56.19026073319406]
大規模推論モデル (LRM) は、最終的な答えを生成する前に明確な推論トレースを生成することで複雑なタスクを解決するように設計されている。
LRM(Unthinking)と呼ばれる重要な脆弱性を明らかにし、特別なトークンを操作することで思考プロセスを回避できます。
本稿では,この脆弱性を悪意と有益の両方の観点から検討する。
論文 参考訳（メタデータ） (2025-02-16T10:45:56Z) - Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。
有害なクエリを良心的な推論タスクに再構成する。
RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
論文 参考訳（メタデータ） (2025-02-16T09:27:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。