論文の概要: Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
- arxiv url: http://arxiv.org/abs/2606.29441v1
- Date: Sun, 28 Jun 2026 15:05:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.914317
- Title: Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
- Title(参考訳): アクティベーション・コーン・ブラインドスポットの閉鎖:応答時間探索と一元防衛
- Abstract要約: 大規模言語モデルの推論時安全性手法は増加してきたが、体系的な比較は存在しない。
5つの防衛パラダイム(防御、静的ステアリング、CAST、AlphaSteer、プローブゲート)を7つの命令調整モデルで評価する。
AlphaSteerはGCG、AutoDAN、インテント洗浄において0%の攻撃成功を達成するが、プリフィルでは50%である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inference-time safety methods for large language models have proliferated, yet no systematic comparison exists. We evaluate five defense paradigms (no defense, static steering, CAST, AlphaSteer, probe-gated) across seven instruction-tuned models (7-31B) and five attack types (GCG, AutoDAN, DeepInception, prefilling, intent laundering). Our central finding: prompt-time activation defenses are structurally blind to prefilling attacks. AlphaSteer achieves 0% attack success on GCG, AutoDAN, and intent laundering but 50% on prefilling. We prove a corollary: any defense that gates intervention on a single layer's activation alignment with a benign reference (cone, subspace, or null-space) is blind to attacks that craft activations to lie inside that reference, whether checked at prompt time or per token. As its constructive contrapositive we introduce response-time probing: a linear probe on the model's hidden state at the first generated tokens, with AUROC 0.97-1.00 across all seven models. Combined with a halt, it cuts prefilling attack success to 0/40 on every model with 0% benign false positives, outperforming Llama Guard 3. Cross-template generalisation depends on probe depth, so we scope the claim to the canonical prefilling-template family. Composing the response-halt with AlphaSteer's null-space steering gives an orthogonal split (the halt catches prefilling, AlphaSteer catches semantic attacks), reaching defense success 0.983 on Mistral and 0.994 on Llama and dominating both components. We further show MMLU fails to capture steering's true utility cost, which appears as behavioral hedging rather than factual loss, and that diverse negative training sets cut probe false positives from 80-100% to near zero. Code, attacks, per-sample results, and the judge prompt are released.
- Abstract(参考訳): 大規模言語モデルの推論時安全性手法は増加してきたが、体系的な比較は存在しない。
我々は,7つの命令調整モデル(7-31B)と5つの攻撃タイプ(GCG, AutoDAN, DeepInception, Prefilling, intent laundering)の5つの防御パラダイム(防衛, 静的ステアリング, CAST, AlphaSteer, probe-gate)を評価した。
我々の中心的な発見: 迅速なアクティベーション防衛は、攻撃を準備するために構造的に盲目である。
AlphaSteerはGCG、AutoDAN、インテント洗浄において0%の攻撃成功を達成するが、プリフィルでは50%である。
単一のレイヤのアクティベーションアライメントアライメントを、良性のある参照(コーン、サブスペース、またはnullスペース)にゲートする防御は、アクティベーションをその参照内に配置する攻撃に盲目である。
AUROC 0.97-1.00は7つのモデルにまたがって、最初の生成トークンにおけるモデルの隠れ状態に対する線形プローブである。
停止と組み合わさって、Llama Guard 3を上回り、0%の偽陽性のモデルでプレフィル攻撃成功率を0/40に下げる。
クロステンポレート一般化はプローブ深さに依存するので、正準プレフィル・テンポレート族への主張を包含する。
AlphaSteerのNull-spaceステアリングでレスポンスハートを構成することで直交スプリットが実現し、Mistralでは0.983、Llamaでは0.994、両コンポーネントを支配できる。
さらに、MMLUは、実際の損失ではなく行動ヘッジとして現れるステアリングの真の実用コストを捉えることができず、多様な負のトレーニングセットは、偽陽性を80-100%からほぼ0に削減することを示した。
コード、攻撃、サンプルごとの結果、および裁判官のプロンプトが解放される。
関連論文リスト
- Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models [4.1626636325601405]
我々の防衛はデコイの硬化であり、拒絶の帯を譲り受け、その支払いを毒する。
5つのファミリー(9B-122B、高密度と混合)から7つのモデルでインスタンス化する。
論文 参考訳(メタデータ) (2026-08-17T23:26:32Z) - A New Kind of Adversarial Example: Measuring the Human-Model Gap, and Its Relationship to OOD Detection [18.313155919803034]
大きく、はっきりと見える摂動は、人間がもはや画像を認識しないにもかかわらず、モデルが元の正しい予測を維持する原因となる。
我々は、人間がモデルよりも本当に悪いパフォーマンスをしているか、標準配当(OOD)検出と校正ツールがそれをキャッチしているか、既存の防御がそれを緩和するかどうかを答える。
論文 参考訳(メタデータ) (2026-07-22T00:44:06Z) - Comparative Analysis of Inference-Time Defense Methods for Multimodal Large Language Models [0.0]
MLLM(Multimodal large language model)は、安全上重要なアプリケーションに実装されている。
新しい脆弱性クラスごとにモデルをリトレーニングするのは、実用には高すぎる。
3時間防衛法とその組み合わせに関する比較実験的な評価を報告する。
論文 参考訳(メタデータ) (2026-06-09T14:13:54Z) - Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack [78.02110947708535]
敵対的なイメージは、プロンプトインジェクションを通じて、マルチモーダルな大規模言語モデルに深刻なセキュリティ上の脅威をもたらす。
敵の攻撃を成功させるには、画像全体を一様に依存するのではなく、重要な画像トークンの小さなサブセットに依存していることを示す。
本稿では,これらのトークンを勾配解析により局所化し,マスキングにより中和するグラディエントトークンマスキング(GTM)を提案する。
論文 参考訳(メタデータ) (2026-05-24T17:51:34Z) - The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。
SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。
偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
論文 参考訳(メタデータ) (2026-05-12T20:21:47Z) - Thinking Wrong in Silence: Backdoor Attacks on Continuous Latent Reasoning [1.3011345529764784]
新しい世代の言語モデルは、完全に連続的な隠蔽状態であり、トークンは生成せず、監査証跡も残っていない。
ThoughtSteer は >=99% の攻撃成功率をほぼベースラインのクリーンな精度で達成している。
個々の潜在ベクトルは、モデルが間違った解を出力したとしても、正しい解を符号化する。
論文 参考訳(メタデータ) (2026-04-01T11:34:55Z) - TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。
提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。
様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
論文 参考訳(メタデータ) (2026-02-06T11:43:56Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - Checkpoint-GCG: Auditing and Attacking Fine-Tuning-Based Prompt Injection Defenses [10.08464073347558]
細調整による防御に対するホワイトボックス攻撃であるCheckpoint-GCGを導入する。
最強防衛に対する攻撃成功率(ASR)を最大96%まで達成できるチェックポイントGCGを示す。
論文 参考訳(メタデータ) (2025-05-21T16:43:17Z) - Fundamental Limitations in Pointwise Defences of LLM Finetuning APIs [56.84338097581665]
細調整APIの防御は、細調整攻撃を防ぐ能力に基本的に制限されていることを示す。
我々は、危険知識を隠蔽的に伝達するために、良性モデル出力のエントロピーを再利用する'ポイントワイド検出不能'アタックを構築した。
OpenAIの微調整APIに対する攻撃をテストし、有害な複数の質問に対する回答を導き出すことに成功しました。
論文 参考訳(メタデータ) (2025-02-20T18:45:01Z) - Evaluating the Robustness of the "Ensemble Everything Everywhere" Defense [90.7494670101357]
あらゆるものをアンサンブルすることは、敵の例に対する防御である。
この防御は敵の攻撃に対して堅牢ではないことを示す。
次に、標準的なアダプティブアタック技術を用いて、防御の堅牢な精度を低下させる。
論文 参考訳(メタデータ) (2024-11-22T10:17:32Z) - Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
バックドアアタックは、訓練段階の脅威を脅かしている。
軽度で目に見えないバックドアアタック(SIBA)を提案する。
論文 参考訳(メタデータ) (2023-05-11T10:05:57Z) - Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。
本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。
実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
論文 参考訳(メタデータ) (2021-06-01T07:10:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。