論文の概要: Attention Is Where You Attack

• arxiv url: http://arxiv.org/abs/2605.00236v1
• Date: Thu, 30 Apr 2026 21:15:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.756523
• Title: Attention Is Where You Attack
• Title（参考訳）: あなたが襲う場所は注意
• Abstract要約: 我々は、安全クリティカルな注意を識別するホワイトボックスの敵攻撃を導入し、安全関連位置から注意を遠ざける非意味な敵トークンを製作する。 ARAは5個のトークンと500個の最適化ステップを回避し、Mistral-7Bでは36%、LLaMA-3では30%をハームベンチプロンプトで達成した。
• 参考スコア（独自算出の注目度）: 1.338174941551702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Safety-aligned large language models rely on RLHF and instruction tuning to refuse harmful requests, yet the internal mechanisms implementing safety behavior remain poorly understood. We introduce the Attention Redistribution Attack (ARA), a white-box adversarial attack that identifies safety-critical attention heads and crafts nonsemantic adversarial tokens that redirect attention away from safety-relevant positions. Unlike prior jailbreak methods operating at the semantic or output-logit level, ARA targets the geometry of softmax attention on the probability simplex using Gumbel-softmax optimization over targeted heads. Across LLaMA-3-8B-Instruct, Mistral-7B-Instruct-v0.1, and Gemma-2-9B-it, ARA bypasses safety alignment with as few as 5 tokens and 500 optimization steps, achieving 36% ASR on Mistral-7B and 30% on LLaMA-3 against 200 HarmBench prompts, while Gemma-2 remains at 1%. Our principal mechanistic finding is a dissociation between ablation and redistribution: zeroing out the top-ranked safety heads produces at most 1 flip among 39 to 50 baseline refusals, while ARA targeting the corresponding safety-heavy layers flips 72/200 prompts on Mistral-7B and 60/200 on LLaMA-3. This suggests that safety is not localized in these heads as removable components, but emerges from the attention routing they perform. Removing a head allows compensation through the residual stream, while redirecting its attention propagates a corrupted signal downstream.
• Abstract（参考訳）: 安全に整合した大規模言語モデルは、有害な要求を拒否するためにRLHFと命令チューニングに依存しているが、安全行動を実装する内部メカニズムはよく理解されていない。 注意再分配攻撃(Attention Redistribution Attack, ARA)は, 安全クリティカルな注意を識別し, 安全関連位置から注意を遠ざける非意味な敵トークンを製作する, ホワイトボックスの敵攻撃である。 従来のジェイルブレイク法とは異なり、ARAはターゲットの頭上でのGumbel-softmax最適化を用いて、確率単純度に基づくソフトマックスアテンションの幾何をターゲットとしている。 LLaMA-3-8B-インストラクタ、Mistral-7B-Instruct-v0.1、Gemma-2-9B-itを横切ると、ARAは5個のトークンと500個の最適化ステップで安全アライメントを回避し、Mistral-7Bでは36%、LLaMA-3では30%、200のHarmBenchプロンプトでは30%、Gemma-2は1%である。 我々の主要なメカニズムは、アブレーションと再分配の解離である: トップランクの安全ヘッドをゼロにすると、39から50のベースラインの拒絶のうち、少なくとも1つのフリップが生成される。 これは、安全が取り外し可能なコンポーネントとしてこれらのヘッドに局所化されるのではなく、それらが実行するアテンションルーティングから現れることを示唆している。 ヘッドの取り外しは残差ストリームを通して補償が可能であり、注意は下流の劣化したシグナルを伝播させる。

関連論文リスト

• The Geometry of Refusal: Why Post-Hoc Safety Is Fragile and Pretraining-Time Safety Persists [14.170453340251981]
  ホック後の安全トレーニングは、大きな言語モデルを整合させる主要な方法である。 幾何的な説明を1つ与えて、事前訓練中に安全が保たれるように追跡する。
  論文  参考訳（メタデータ） (2026-09-07T02:08:19Z)
• Measuring Safety Alignment Effects in Autonomous Security Agents [3.93181912653522]
  セキュリティエージェントは、レポジトリを検査し、ツールを呼び出し、認証されたサンドボックス内で脆弱性証拠を生成する必要がある。 固定ツール、決定論的成功予測、リアクションルール、グラウンドチェックを備えた30のローカル脆弱性分析タスクのトレースベースのベンチマークを示す。 自律型セキュリティエージェントの安全性アライメント効果をシステムレベルで測定し, 拒絶, 不安全行動, ツール信頼性, 根拠を分離する。
  論文  参考訳（メタデータ） (2026-05-19T11:55:54Z)
• Breaking Safety at the Token Boundary: How BPE Tokenization Creates Exploitable Gaps in LLM Alignment [9.127363793428119]
  文字レベルの摂動は、人間を可読化しているにもかかわらず、現代のLLMの安全アライメントを回避している。 BPEトークン化は、安全クリティカルな単語をサブワードに断片化する。
  論文  参考訳（メタデータ） (2026-05-01T18:57:03Z)
• Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models [5.937023024175801]
  本稿では,階層間隠れ状態軌跡を健康信号として扱う無チューニングランタイムモニタであるLayerwise Convergence Fingerprinting (LCF)を紹介する。 4つのアーキテクチャ(Llama-3-8B、Qwen2.5-7B、Gemma-2-9B、Qwen2.5-14B)をバックドア、ジェイルブレイク、即時注入で評価した。
  論文  参考訳（メタデータ） (2026-04-27T14:38:31Z)
• Seeing No Evil: Blinding Large Vision-Language Models to Safety Instructions via Adversarial Attention Hijacking [16.208634186675397]
  安全アライメント攻撃を回避するために,注意誘導型視覚ジェイルブレイクを提案する。 提案手法はQwen-VLに対して94.4%の攻撃成功率を達成し,40%の繰り返しを削減した。 メカニスティック分析では、安全失明と呼ばれる障害モードが明らかにされている。
  論文  参考訳（メタデータ） (2026-04-11T17:33:47Z)
• Safety Recovery in Reasoning Models Is Only a Few Early Steering Steps Away [97.11976870616273]
  本稿では,安全回復を目的ではなく満足度の高い制約として扱う軽量な推論時防衛法を提案する。 6つのオープンソースMLRMと4つのjailbreakベンチマークで評価した結果、SafeThinkは攻撃成功率を30～60%削減しました。
  論文  参考訳（メタデータ） (2026-02-11T18:09:17Z)
• Attributing and Exploiting Safety Vectors through Global Optimization in Large Language Models [50.91504059485288]
  本報告では,全頭部のグローバルな最適化により,安全クリティカルな注意点を同時に識別するフレームワークを提案する。 我々は,アクティベーション・リマッチによって同定された安全ベクトルを利用する,新しい推論時ホワイトボックス・ジェイルブレイク法を開発した。
  論文  参考訳（メタデータ） (2026-01-22T09:32:43Z)
• GateBreaker: Gate-Guided Attacks on Mixture-of-Expert LLMs [24.327693899810615]
  GateBreakerは、トレーニング不要で、軽量で、アーキテクチャに依存しない最初のアタックフレームワークです。 GateBreakerは、現代のMoE LLMの安全アライメントを推論時に妥協する。 本研究により,MoEの安全性はスパースルーティングによって調整された神経細胞の小さなサブセットに集中していることが判明した。
  論文  参考訳（メタデータ） (2025-12-24T07:13:24Z)
• Attention Slipping: A Mechanistic Understanding of Jailbreak Attacks and Defenses in LLMs [61.916827858666906]
  私たちは、脱獄攻撃中に起こる普遍的な現象を明らかにします。 Attention Slippingは、勾配ベースのトークン置換、プロンプトレベルのテンプレートリファインメント、コンテキスト内学習など、さまざまなジェイルブレイクメソッドに一貫性があることを示します。 本研究では,温度スケーリングによる注意スコア分布の鮮明化により,注意スライッピングと直接対向する新たな防御法である注意シャープニングを提案する。
  論文  参考訳（メタデータ） (2025-07-06T12:19:04Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
  大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。 モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。 両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
  論文  参考訳（メタデータ） (2024-06-24T19:29:47Z)
• How Alignment and Jailbreak Work: Explain LLM Safety through Intermediate Hidden States [65.45603614354329]
  大規模言語モデル(LLM)は、悪意のあるユーザ入力に対する応答を避けるために、安全アライメントに依存している。 ジェイルブレイクは安全ガードレールを回避でき、LLMは有害な内容を生成する。 中間隠蔽状態を通してLSMの安全性を説明するために弱い分類器を用いる。
  論文  参考訳（メタデータ） (2024-06-09T05:04:37Z)
• Defending Large Language Models Against Jailbreaking Attacks Through Goal Prioritization [98.18718484152595]
  本研究は,学習段階と推論段階の両方において,目標の優先順位付けを統合することで,支援と安全性の確保という目標との本質的な対立に対処することを提案する。 我々の研究は、脱獄攻撃と防衛の理解に寄与し、LLMの能力と安全性の関係に光を当てている。
  論文  参考訳（メタデータ） (2023-11-15T16:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。