論文の概要: Attention-Guided Reward for Reinforcement Learning-based Jailbreak against Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2605.19485v1
• Date: Tue, 19 May 2026 07:36:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.191974
• Title: Attention-Guided Reward for Reinforcement Learning-based Jailbreak against Large Reasoning Models
• Title（参考訳）: 大規模推論モデルに対する強化学習に基づくジェイルブレイクに対する注意誘導リワード
• Authors: Zheng Lin, Zhenxing Niu, Haoxuan Ji, Yuzhe Huang, Haichang Gao,
• Abstract要約: LRMに対するジェイルブレイク攻撃を調査し,攻撃成功率(ASR)がLRMの注意パターンと密接に相関していることを明らかにする。 本稿では、強化学習(RL)を活用して攻撃効果を高める新しいLDMのジェイルブレイク手法を提案する。 提案手法はASRを大幅に向上し,有効性,効率,転送性において既存手法より優れる。
• 参考スコア（独自算出の注目度）: 15.26823084609871
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in solving complex problems by generating structured, step-by-step reasoning content. However, exposing a model's internal reasoning process introduces additional safety risks; for example, recent studies show that LRMs are more vulnerable to jailbreak attacks than standard LLMs. In this paper, we investigate jailbreak attacks on LRMs and reveal that the attack success rate (ASR) is closely correlated with LRMs' attention patterns. Specifically, successful jailbreaks tend to assign lower attention to harmful tokens in the input prompt, while allocating higher attention to those tokens in the reasoning content. Motivated by this finding, we propose a novel jailbreak method for LRMs that leverages reinforcement learning (RL) to enhance attack effectiveness, explicitly incorporating attention signals into the reward function design. In addition, we introduce diverse persuasion strategies to enrich the RL action space, which consistently improves the ASR. Extensive experiments on five open-source and closed-source LRMs across three benchmarks demonstrate that our method achieves substantially higher ASR, outperforming existing approaches in terms of effectiveness, efficiency, and transferability.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、構造化されたステップバイステップの推論コンテンツを生成することで複雑な問題を解く際、顕著な能力を示した。 しかし、モデルの内部推論プロセスを公開すると、安全性のリスクが増す。例えば、最近の研究では、LEMは通常のLSMよりもジェイルブレイク攻撃に弱いことが示されている。 本稿では, LRMに対するジェイルブレイク攻撃を調査し, 攻撃成功率(ASR)がLRMの注意パターンと密接に相関していることを明らかにする。 特に、成功したジェイルブレイクは、入力プロンプトにおいて有害なトークンに注意を向ける傾向があり、一方で推論内容においてそれらのトークンに注意を向ける傾向にある。 この発見を動機として,強化学習(RL)を活用してアタック効果を高め,アタックシグナルをアタック関数設計に明示的に組み込む新しいLDMのジェイルブレイク手法を提案する。 さらに,ASRを継続的に改善するRLアクション空間を充実させる多種多様な説得戦略を導入する。 3つのベンチマークによる5つのオープンソースおよびクローズドソース LRM に関する大規模な実験により,本手法がASRを大幅に向上し,有効性,効率性,転送性において既存手法より優れていたことを示す。

関連論文リスト

• Towards Sample-Efficient and Stable Reinforcement Learning for LLM-based Recommendation [56.92367609590823]
  Long Chain-of-Thought (Long CoT)推論は、Large Language Models (LLMs)において有望であることを示している。 我々はLong CoTが本質的にシーケンシャルなレコメンデーションドメインに不適合であると主張している。 提案するRISER(Reinforced Item Space Exploration framework for Recommendation)を提案する。
  論文  参考訳（メタデータ） (2026-01-31T10:02:43Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Distractor Injection Attacks on Large Reasoning Models: Characterization and Defense [16.519353449118814]
  我々は, LRM が主要な目的から無関係で複雑なタスクをプロンプトに不正に埋め込むことによって逸脱する原因となる重要な脆弱性を解析する。 現状のLEMでも高い感受性を示し, インジェクトインジェクターによりタスク精度を最大60%削減した。 本稿では, 教師付きファインタニング(SFT)と強化学習(RL)を併用した, 合成敵データを用いたトレーニングベースディフェンスを提案する。
  論文  参考訳（メタデータ） (2025-10-17T23:16:34Z)
• FuSaR: A Fuzzification-Based Method for LRM Safety-Reasoning Balance [16.657840274027958]
  大規模推論モデル(LRM)は、その強力な推論能力のために、様々なタスクにまたがって印象的な性能を誇示している。 推論能力を犠牲にすることなく, LLMの安全性を向上させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-08-18T12:54:16Z)
• Cannot See the Forest for the Trees: Invoking Heuristics and Biases to Elicit Irrational Choices of LLMs [83.11815479874447]
  本研究では,人間の認知における認知的分解と偏見に触発された新しいジェイルブレイク攻撃フレームワークを提案する。 我々は、悪意のあるプロンプトの複雑さと関連バイアスを減らし、認知的分解を用いて、プロンプトを再編成する。 また、従来の二分的成功または失敗のパラダイムを超越したランキングベースの有害度評価指標も導入する。
  論文  参考訳（メタデータ） (2025-05-03T05:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。