論文の概要: Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance

• arxiv url: http://arxiv.org/abs/2609.37737v1
• Date: Tue, 29 Sep 2026 14:54:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.651629
• Title: Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance
• Title（参考訳）: LLMはルールを破ろうとする? : プロンプトインジェクションコンプライアンスの機械的局在化
• Abstract要約: 攻撃情報は第1層から線形にデオード可能であるが、モデルの振る舞いに対する因果的レバレッジは、後期層ボトルネックまで無視可能である。 コンプライアンス機構はコンパクトな線形部分空間を占有し、様々なモデルファミリに対してアーキテクチャ的に安定であることを示す。 この因果レバレッジと検出性能の整合性は、遅延層ボトルネックが単に介入の成果を反映するのではなく、決定関連性を捉えているという確固たる証拠となる。
• 参考スコア（独自算出の注目度）: 13.283075663290012
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a prompt injection attack succeeds, a Large Language Model (LLM) abandons its assigned system role to comply with an adversarial instruction. While prior work has extensively quantified how often this occurs, we ask a more fundamental question: where inside the network does the model actually decide to break the rules? Using layer-by-layer causal activation patching across five models (4B to 32B parameters), we find a clear dissociation: attack information is linearly decodable from the first layer, yet causal leverage over the model's behavior is negligible until a late-layer bottleneck in the final third of the network. Patching this bottleneck reverses compliance in 77--92\% of cases. We show that the compliance mechanism occupies a compact linear subspace (rank-8 in 4B and 14B models, scaling to rank-64 at 32B) and is architecturally stable across varying model families. Finally, we validate our mechanistic account by showing that this causal peak layer is also the representationally optimal site for detecting attacks, outperforming early-layer classifiers that degrade under surface-level obfuscation such as leetspeak substitution. This alignment between causal leverage and detection performance provides converging evidence that the late-layer bottleneck captures decision-relevant computation rather than merely reflecting an artifact of the intervention.
• Abstract（参考訳）: プロンプトインジェクション攻撃が成功すると、Large Language Model (LLM) はその割り当てられたシステムロールを放棄し、敵の命令に従う。 以前の作業では、どの程度の頻度で発生したかが広く定量化されていますが、より根本的な疑問 — ネットワーク内において、モデルが実際にルールを破ることを決定するのは、どこでなのでしょう? 5つのモデル(4Bから32Bパラメータ)にまたがる層間因果活性化パッチを用いることで、アタック情報は第1層から線形にデオード可能であるが、ネットワークの最後の3分の1で遅延層ボトルネックが発生するまで、モデルの振る舞いに対する因果的レバレッジは無視できる。 このボトルネックに対処すると、77--92\%のケースでコンプライアンスが逆になる。 コンプライアンス機構はコンパクトな線形部分空間(4Bおよび14Bモデルではrank-8、32Bでは rank-64)を占有し、様々なモデルファミリに対してアーキテクチャ的に安定であることを示す。 最後に、この因果ピーク層が攻撃を検出するのに最適な場所であることを示し、リースピーク置換のような表面レベルの難読化の下で劣化する早期層分類器よりも優れていることを示す。 この因果レバレッジと検出性能の整合性は、遅延層ボトルネックが単に介入の成果を反映するのではなく、決定関連計算をキャプチャする、という確固たる証拠となる。

関連論文リスト

• Defending against Model Extraction for GNNs with Model Reprogramming [57.82196268649236]
  グラフニューラルネットワーク(GNN)は、ML(Machine-Learning-as-a-Service)における高スループットアプリケーションのバックボーンとして機能する。 それでも、ブラックボックスのデプロイメントは、モデル抽出(ME)攻撃に晒される。 既存の防衛は「ユークリッドバイアス」に苦しむ セキュリティのためにモデル再プログラミングを再利用するプロアクティブディフェンスフレームワークであるGraphRPを提案する。
  論文  参考訳（メタデータ） (2026-08-11T23:20:15Z)
• Sensitivity, Causality, and Repair Dissociate: A Layer-Wise Analysis of Perturbation Robustness and Its Scaling [0.0]
  言語モデルが表面摂動入力で失敗すると、"どの層が責任を持つか"は3つの自然な操作を持つことを示す。 スパイク・アンド・プレッシャーと遅延累積の2つの伝播機構を同定する。 4つのモデル(3.8-8B)にまたがる固定ハーネス層は、GSM8Kのコア予測を裏付ける。
  論文  参考訳（メタデータ） (2026-08-04T15:48:55Z)
• The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
  EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。 SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。 偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
  論文  参考訳（メタデータ） (2026-05-12T20:21:47Z)
• Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning [56.48520300004217]
  本稿では、文脈干渉を内部の訓練信号に変換するセルフプレイのRLフレームワークであるSeyrnesを紹介する。 単一のモデルでは、可視的かつ気を散らすようなコンテキストの構築と、それ自身で盲点を露呈するように訓練されている。 これらの競合する目標を互いに衝突させることで、Sailnes氏は、表面的なパターンマッチングを超えてモデルを補完する。
  論文  参考訳（メタデータ） (2026-05-12T06:58:35Z)
• Knowing but Not Correcting: Routine Task Requests Suppress Factual Correction in LLMs [26.062372963777452]
  LLMは、独立して提示された時に確実に偽のクレームを訂正するが、同じクレームがタスク指向のリクエストに埋め込まれている場合、そのクレームは正しいというよりも、従うことが多い。 我々は、この障害モードの誤り訂正を抑え、300の偽の前提のベンチマークを構築し、8つのモデルで体系的に評価する。 抑制率は19%から90%で、4つのモデルが80%を超え、修正抑制が一般的で深刻な現象として確立された。
  論文  参考訳（メタデータ） (2026-05-07T10:04:39Z)
• TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
  分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。 我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。 我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
  論文  参考訳（メタデータ） (2026-04-30T13:44:01Z)
• RoguePrompt: Dual-Layer Ciphering for Self-Reconstruction to Circumvent LLM Moderation [0.0]
  本稿では,不正なユーザクエリを自己再構成プロンプトに変換する自動ジェイルブレイク攻撃を提案する。 GPT 4oに対してRoguePromptをインスタンス化し、2 448で評価すると、以前は強く拒否されていた生産モデレーションシステムであることが示唆される。 3つのセキュリティ関連の結果のバイパス、再構築、実行を分離する評価プロトコルの下で、攻撃は84.7%のバイパス、80.2%の再構築、および71.5パーセントの完全な実行を達成した。
  論文  参考訳（メタデータ） (2025-11-24T05:42:54Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。