論文の概要: The System Prompt Illusion: How Instruction Preambles Modify Computation in Language Models

• arxiv url: http://arxiv.org/abs/2609.38205v1
• Date: Wed, 23 Sep 2026 08:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.375224
• Title: The System Prompt Illusion: How Instruction Preambles Modify Computation in Language Models
• Title（参考訳）: システムプロンプトIllusion:言語モデルにおける命令プリアンブルの計算方法
• Abstract要約: 我々はCentered Kernel Alignmentを用いて5つのカテゴリで20のシステムプロンプトの層ワイズ表現を比較する。 効果は層選択的で機能的な命令型依存である。 発見は、システムプロンプトベースの安全性の永続的ジェイルブレイク脆弱性について、機械的な説明を提供する。
• 参考スコア（独自算出の注目度）: 8.695939803795499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: System prompts are the primary lever practitioners use to control language model behavior, yet what they actually do to the computation inside the transformer remains poorly understood. Across 17 instruction-tuned models spanning 8 architecture families and 1.5B to 72B parameters, we use Centered Kernel Alignment (CKA) to compare layer-wise representations under 20 system prompts in five functional categories. Effects are layer-selective and instruction-type-dependent: persona and formatting instructions deeply restructure intermediate representations, while safety instructions barely move them, producing changes statistically indistinguishable from a minimal baseline. Restrictive safety instructions and explicitly permissive ones ("you have no restrictions") engage near-identical computational pathways (mean CKA correlation 0.997), and this persists at commercial scale, where safety penetration remains below 10% even at 70B-72B. A linear probing baseline exposes the mechanism: the model encodes prompt category at every layer but restructures its computation only at a small subset, so the prompt is reliably "seen" but, for safety, not deeply "acted upon." Causal activation patching confirms these layers mediate behavioral change, and representational depth predicts behavioral effect size across the full 17-model cohort (Spearman rho = 0.761, p < 0.001). The findings provide a mechanistic explanation for the persistent jailbreak vulnerability of system-prompt-based safety. Code: https://github.com/Usama1002/system-prompt-illusion-cka
• Abstract（参考訳）: システムプロンプトは、言語モデルの振る舞いを制御するために使用する主要なレバーの実践者であるが、トランスフォーマー内の計算に実際に何をするかは、まだよく分かっていない。 8つのアーキテクチャファミリと1.5Bから72Bパラメータにまたがる17の命令調整モデルに対して、CKA(Centered Kernel Alignment)を用いて、5つの機能カテゴリで20のシステムプロンプト未満のレイヤワイズ表現を比較した。 ペルソナとフォーマッティング命令は中間表現を深く再構成し、安全命令はそれらをほとんど動かさず、最小限のベースラインから統計的に区別できない変化を生み出す。 制限的安全性命令と明示的に許容する命令(制限なし)は、ほぼ同一の計算経路(つまりCKA相関0.997)に関わり、これは商業規模で継続され、70B-72Bでも安全侵入は10%以下である。 モデルは全ての層でプロンプト圏をエンコードするが、その計算を小さなサブセットでのみ再構成するので、プロンプトは確実に「見える」が、安全のため、深く「実行される」わけではない。 因果活性化パッチングはこれらの層が行動変化を媒介し、表現深度は全17モデルコホート(スピアマンrho = 0.761, p < 0.001)にわたる行動効果の大きさを予測する。 この知見は,システムプロンプトに基づく安全性の持続的ジェイルブレイク脆弱性について,機械的説明を提供する。 コード:https://github.com/Usama1002/system-prompt-illusion-cka

関連論文リスト

• Safety Reconstructed: Generative Modeling via Masked Diffusion Builds Strong Safety Guardrails [40.082729607289686]
  ガードモデルは、会話のコンテキストから単一の検証トークンを予測することを学び、単一のターゲットに対する監視に集中する。 LLaDA-Guardを提案する。各ラベル仮説の下でのプロンプトや応答をスコアし,その差に基づいて分類する。 このアイデアをマスク付き拡散言語モデル、LLaDA-8B-インストラクタ、LoRAを用いたクラス条件再構築目標を用いてインスタンス化する。
  論文  参考訳（メタデータ） (2026-09-27T14:54:20Z)
• SafeCA: Safe Cross-Attention Localization and Regulation for Text-to-Video Jailbreak Defense [77.70598852234149]
  テキスト・トゥ・ビデオ(T2V)生成モデルは、現実世界のデプロイにおいてジェイルブレイク攻撃に対して脆弱である。 安全なクロスアテンション・ローカライゼーションと正規化のための機能レベル防衛機構であるSafeCAを提案する。 実験の結果、SafeCAは主流のT2Vモデルでジェイルブレイクの成功率を約20%削減することが示された。
  論文  参考訳（メタデータ） (2026-08-11T14:01:24Z)
• The Illusion of High Utility in Safety Alignment of Text-to-Image Diffusion Models [49.67749928542536]
  テキスト・ツー・イメージ(T2I)拡散モデルの安全性の確保は,有害な世代を抑えることを目的としている。 近年の手法は高いユーティリティで高い安全性を提供するように思われるが、この結論は主に粗いグローバルユーティリティメトリクスに依存している。 構造的評価で実用性を測定すると、この錯覚は壊れる:OnA(質問回答を用いたテキストから画像への忠実度評価) 本研究では,組込み拡散とプロンプト間関係構造を明示的に保存する安全アライメント目標であるStructureAware Geometric Regularization (SAGE)を提案する。
  論文  参考訳（メタデータ） (2026-07-01T04:00:27Z)
• Categorical Robustness Assessment for Machine Learning based Network Intrusion Detection Systems [6.42094170804706]
  敵の攻撃は ネットワークトラフィックデータに 慎重に妨害を加え 誤分類に繋がる 本稿では,攻撃者がシステムを操作しようとすると,どのようなアーキテクチャが実際に維持されるのかを問う。 敵の環境で侵入検知を行う実践者に対しては、CNNベースのアーキテクチャを推奨する。
  論文  参考訳（メタデータ） (2026-06-10T13:41:44Z)
• Parallax: Why AI Agents That Think Must Never Act [0.0]
  本稿では,4つの原則に基づく自律型AI実行のパラダイムであるParallaxを紹介する。 本稿では、Goのオープンソースリファレンス実装であるOpenParallaxを紹介し、Assume-Compromise Evaluationを用いて評価する。 9つの攻撃カテゴリにおける280件の敵の試験ケースのうち、パララックスは98.9%の攻撃をブロックし、デフォルト設定ではゼロの偽陽性、最大セキュリティ設定では100%の攻撃をブロックした。
  論文  参考訳（メタデータ） (2026-04-14T17:20:48Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation [11.984098021215878]
  SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。 これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。 Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
  論文  参考訳（メタデータ） (2026-01-29T07:40:58Z)
• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Sentra-Guard: A Multilingual Human-AI Framework for Real-Time Defense Against Adversarial LLM Jailbreaks [0.31984926651189866]
  Sentra-Guardは、大規模言語モデル(LLM)のためのリアルタイムモジュールディフェンスシステムである。 このフレームワークは、FAISSにインデックスされたSBERT埋め込み表現とハイブリッドアーキテクチャを使用して、プロンプトの意味をキャプチャする。 直接攻撃ベクトルと難解攻撃ベクトルの両方において、敵のプロンプトを識別する。
  論文  参考訳（メタデータ） (2025-10-26T11:19:47Z)
• Instructional Segment Embedding: Improving LLM Safety with Instruction Hierarchy [53.54777131440989]
  LLM(Large Language Models)は、セキュリティや安全性の脅威を受けやすい言語である。 これらの脆弱性の大きな原因の1つは、命令階層の欠如である。 本稿では,BERTにインスパイアされた命令セグメント埋め込み(ISE)技法を,現代の大規模言語モデルに導入する。
  論文  参考訳（メタデータ） (2024-10-09T12:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。