論文の概要: On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

• arxiv url: http://arxiv.org/abs/2606.27567v1
• Date: Thu, 25 Jun 2026 21:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.318054
• Title: On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models
• Title（参考訳）: 共有埋め込みシーケンスモデルにおける命令とデータの分離可能性について
• Abstract要約: 我々は、制御権威行動を伴うプロンプトアクションモデルとして、誘導されたシステムを定式化する。 共有パイプライン内では,SFC(Semantic-Faithful Control)が実現不可能であることを示す。 根本原因とそれが要求するソリューションのクラスを特定します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt injection is the top security risk for LLM-integrated applications, yet every defense proposed so far has been broken. We prove this is not a coincidence: in shared-embedding architectures that lack enforced control-data separation, perfect prompt-injection prevention is mathematically impossible. We formalize prompted systems as Prompted Action Models whose outputs include control-authoritative actions: refusal decisions, tool authorization, policy routing, and memory writes. We define Semantic-Faithful Control (SFC), the property that such behavior depends only on the meaning of untrusted input, not on how it is encoded. We then prove SFC is unachievable within the shared pipeline, via three results: a provenance-recovery impossibility (shared representations make trusted and untrusted content statistically inseparable, bounded by total variation distance); control-path exposure (untrusted tokens enter control-relevant computation through the same attention value-aggregation that determines outputs); and a finite-coverage invariance gap (finite training cannot certify invariance over infinite semantic-equivalence classes). We ground each quantity in measurements on production tokenizers and models. The result is structural, not a gap in current defenses. It mirrors the code-data confusion in Von Neumann machines that gives rise to buffer overflows, a vulnerability class that took decades of layered defenses (DEP, Write-XOR-Execute, ASLR, stack canaries, and ultimately memory-safe languages) to contain, because no single mechanism sufficed. The implication is the same: prompt injection cannot be eliminated by better in-pipeline classification or alignment alone. It requires architectural separation of instruction and data channels. We identify the root cause and the class of solution it demands.
• Abstract（参考訳）: プロンプトインジェクションはLLM統合アプリケーションにとって最大のセキュリティリスクである。 制御データ分離が強制されていない共有埋め込みアーキテクチャでは、完全な即発注入防止は数学的には不可能である。 我々は、プロンプトされたアクションモデルとして、制御権限のあるアクション(拒否決定、ツール認可、ポリシールーティング、メモリ書き込み)を出力するプロンプトされたアクションモデルとして形式化します。 セマンティック・ファイスフル・コントロール(SFC)は、その振る舞いがどのように符号化されるかではなく、信頼できない入力の意味にのみ依存する性質である。 次に、SFCが共有パイプライン内で達成不可能であることを証明し、以下の3つの結果を通して証明する: 証明-回復不合理性(共有表現は信頼と信頼できないコンテンツを統計的に分離し、全変動距離で境界づけられる)、制御-パス露光(信頼されていないトークンは、出力を決定する同じ注意値-集約を通して制御-関連計算に入る)、有限被覆不変差(有限学習は無限の意味-等価クラスよりも不変性を証明できない)。 生産トークン化器とモデルに基づいて各量を測定する。 その結果は構造的であり、現在の防御のギャップではない。 これは、バッファオーバーフローを引き起こすVon Neumannマシンのコードとデータの混同を反映している。この脆弱性クラスは、何十年にもわたって階層化された防御(DEP、Write-XOR-Execute、ASLR、スタックカナリア、そして究極的にはメモリセーフな言語)を必要とした。 プロンプトインジェクションは、パイプ内分類やアライメントだけでは排除できない。 命令とデータチャネルをアーキテクチャ的に分離する必要がある。 根本原因とそれが要求するソリューションのクラスを特定します。

関連論文リスト

• Recognition Without Enforcement: Configuration-Dependent Failures in LLM Agent Instruction Arbitration and External Control [0.0]
  LLMエージェントはシステムプロンプト、ユーザ、メモリ、ツールから命令を仲裁するが、この仲裁は信頼境界を強制するものではない。 ソースフォーマット機能はモデルアクティベーションから線形にデオード可能であり、モデルがトリガーされたときの偽の権威を明示的に識別することができる。 モデル自己配置をセキュリティ境界ではなく機能として扱い、認証されたソースルーティングと機能限定ツールの実行を組み合わせた外部参照モニタを実装します。
  論文  参考訳（メタデータ） (2026-08-28T16:34:05Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation [48.55515767840701]
  AIスロープ(AI slop)は、アーティファクト、幻覚的脆弱性、可視だが正しくないパッチ、セマンティックに再パッケージされたバグレポートである。 本稿では,実証的証拠を調査し,統一メカニズムを特定し,信頼に値するトリアージへの道筋をたどる。
  論文  参考訳（メタデータ） (2026-08-26T11:48:38Z)
• Certifying Plans under Model Mismatch: A Trilemma for Reachability from Scarce Data [5.455772242709494]
  シモン・トゥ・リアル・ポリシーは、名目力学の下で設計されているが、ターゲット・システム・トライアルは、わずかに孤立した1段階の遷移をもたらす。 本研究では,学習ポリシによって生成されるアクションチャンクなど,固定制御シーケンスの事前実行認証について検討する。
  論文  参考訳（メタデータ） (2026-08-03T16:28:26Z)
• Fidelity Is Not Safety: Gently-Compressed LLMs Pass Every Data-Free Quality Guard Yet Invent Procedure Steps in Agentic Execution [0.0]
  専門家は、データチープの品質ガードのスタックをクリアすると、圧縮された言語モデルを受け入れる。 3つのモデルファミリーにまたがって、優雅に圧縮されたモデルはすべてのガードをクリアし、指示にはない手順を発明した。 我々は,事前登録されたパワーカナリア上で,信頼区間のペア化による盲点と解離を特徴付ける。
  論文  参考訳（メタデータ） (2026-07-30T13:33:09Z)
• Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems [4.22293816564147]
  1つのプロンプトモジュールを編集すると、共有変数や実行可能依存関係がないにもかかわらず、他のモジュールの振る舞いが静かに変わる。 我々はこれをコンポジション行動漏洩(CBL):コンテキストウィンドウを共有するモジュール間の干渉として定式化する。 我々は、CBLを再利用可能な3チャンネルプロトコルによって配置されたジョブ評価エージェント上で探索し、ボリューム、コンテンツ、フォームに沿った非焦点モジュールを摂動させる。
  論文  参考訳（メタデータ） (2026-06-24T20:09:28Z)
• What Accuracy and Gradient Cosine Miss: Evaluating Feedback Alignment via Scale Stability, Reference Validity, and Depth Utility [48.10132234701036]
  本稿では,3つのチェック(スケール安定性,参照妥当性,深度ユーティリティ)に基づく診断評価プロトコルを提案する。 複数のアーキテクチャや手法にまたがって、我々のプロトコルは広い校正マージンを持つ全ての障害を識別する。
  論文  参考訳（メタデータ） (2026-06-19T06:04:17Z)
• Bit-Exact AI Inference Verification Without Performance Tradeoffs [0.0]
  カバー敵は、監視された計算において検証不可能な自由度を利用することができる。 現代の推論エンジンが決定論的だが不変ではない出力をいかに生み出すかを分析する。 ビットワイズな再計算は同一ハードウェアへのアクセスを必要としないことを示す。
  論文  参考訳（メタデータ） (2026-05-29T19:15:15Z)
• AgentSecBench: Measuring Prompt Injection, Privacy Leakage, and Tool-Use Integrity in LLM Agents [0.2864713389096699]
  本稿では,AgentSecBenchを,この問題に対する正式なセキュリティフレームワークの実証的なインスタンス化として紹介する。 3つのゲーム・インストラクション・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス・インテリジェンス(英語版)を定めている。 これは、承認された観察と能力に対するプロジェクションとしてのアプリケーションポリシーを表し、プロジェクションの即時アノテーションとプロジェクションの強化を区別し、敵のアドバンテージと、防衛が生成前に関連するモデル可視チャネルを閉鎖するかどうかを計測する。
  論文  参考訳（メタデータ） (2026-05-25T18:53:22Z)
• Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
  安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。 敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。 最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-04-14T06:48:33Z)
• Can AI Keep a Secret? Contextual Integrity Verification: A Provable Security Architecture for LLMs [0.0]
  我々は、暗号的に署名されたラベルを全てのトークンにアタッチする、既定のセキュリティアーキテクチャであるContextual Integrity Verification (CIV)を提示する。 CIVは、凍結したモデルに対して、前兆かつトーケン毎の非干渉保証を提供する。 Llama-3-8BとMistral-7Bのドロップイン保護を実証した。
  論文  参考訳（メタデータ） (2025-08-12T18:47:30Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• Unsupervised Continual Anomaly Detection with Contrastively-learned Prompt [80.43623986759691]
  UCADと呼ばれる新しい非教師付き連続異常検出フレームワークを提案する。 このフレームワークは、対照的に学習したプロンプトを通じて、UDAに継続的な学習能力を持たせる。 我々は総合的な実験を行い、教師なし連続異常検出とセグメンテーションのベンチマークを設定した。
  論文  参考訳（メタデータ） (2024-01-02T03:37:11Z)
• Bilateral Dependency Optimization: Defending Against Model-inversion Attacks [61.78426165008083]
  本稿では,モデル反転攻撃に対する二元的依存性最適化(BiDO)戦略を提案する。 BiDOは、さまざまなデータセット、分類器、MI攻撃に対する最先端の防御性能を達成する。
  論文  参考訳（メタデータ） (2022-06-11T10:07:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。