論文の概要: Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors

• arxiv url: http://arxiv.org/abs/2608.23873v2
• Date: Fri, 28 Aug 2026 09:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 15:11:36.070723
• Title: Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
• Title（参考訳）: 意味的オーバーレイ: トークンとステアリングベクトル以外のアノテーションによるプロンプト注入の緩和
• Abstract要約: インジェクション攻撃から言語モデルを保護する方法を示す。 モデルを保護するためにセマンティックオーバーレイと呼ばれるテクニックを使用します。 スパンを"実行不可能"とマークしたオーバーレイは、幅広いプロンプトインジェクションのクラスに対して防御する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Everything a language model sees is tokens. The serving stack knows what each span is -- user input, tool output, instructions -- but the model must keep track of that itself, and can lose track or be confused: text can be written to read like anything. Prompt injection is a natural exploit of this phenomenon. By scrambling the model's understanding of span identity, an attacker can induce unwanted and dangerous actions. Adding a non-textual channel to the model's input -- a way to communicate span identity beyond text -- mitigates this class of attack. We thus introduce a general steering technique called Semantic Overlays: small learned adapters applied at chosen prefill positions to a frozen model's residual stream. Laying an overlay over a span creates an out-of-band annotation channel that cannot be replicated by tokens. Unlike steering vectors, Semantic Overlays are trained, adaptable, and selectively applied. An overlay can encode complex semantics that reshape how the model perceives the marked span: asked to copy a code snippet under an overlay asserting a different programming language, the model rewrites the snippet in the asserted language. Overlays compose, allow transparent reading of underlying content, and can carry complex payloads -- including imperatives the model will follow. An overlay which marks a span as "non-executable" defends against the broad class of prompt injections that add instructions in untrusted context. We report strong results on five prompt injection benchmarks: SEP separation rises from 24.3% to 99.0% with utility unchanged (our scoring rule; we correct a defect in the published grader), TensorTrust attack success falls from 34.8% to 6.2%, AlpacaFarm from 99.0% to 0%, and the overlay beats every published PIArena defense that leaves the model able to answer -- while marked spans stay readable, all at >95% character similarity to the original.
• Abstract（参考訳）: 言語モデルが見るものはすべてトークンです。 サービススタックは、ユーザインプット、ツールアウトプット、インストラクションなど、それぞれのスパンが何かを知っているが、モデルはそれ自身を追跡し、トラックを失うか混乱させる可能性がある。 プロンプト注入はこの現象の自然な利用である。 モデルのパーソナリティに対する理解を揺るがすことで、攻撃者は望ましくない危険な行動を引き起こすことができる。 モデル入力に非テキストチャネルを追加する -- テキスト以外のアイデンティティを通信する手段 -- は、このタイプの攻撃を緩和する。 そこで本研究では,凍結モデルの残留ストリームに対して,選択したプリフィル位置で小さな学習アダプタを適用することで,セマンティックオーバーレイ(Semantic Overlays)と呼ばれる一般的なステアリング手法を提案する。 スパン上にオーバーレイを置くと、トークンによって複製できない帯域外アノテーションチャンネルが生成される。 ステアリングベクトルとは異なり、セマンティックオーバーレイは訓練され、適応可能で、選択的に適用される。 オーバーレイは、モデルがマークされたスパンをどのように知覚するかを再生成する複雑なセマンティクスをエンコードすることができる: 異なるプログラミング言語をアサートするオーバーレイの下でコードスニペットをコピーするように要求され、モデルはアサートされた言語のスニペットを書き換える。 オーバーレイは構成され、基盤となるコンテンツの透過的な読み込みを可能にし、モデルが従う命令を含む複雑なペイロードを運ぶことができる。 スパンを"実行不可能"とマークするオーバーレイは、信頼できないコンテキストで命令を追加するプロンプトインジェクションの幅広いクラスに対して防御する。 SEP分離はユーティリティを変更せずに24.3%から99.0%に上昇する(評価ルールは、公開グレーダの欠陥を訂正する)、TensorTrust攻撃の成功は34.8%から6.2%に減少し、AlpacaFarmは99.0%から0%に低下し、オーバーレイは発行されたPIArenaディフェンスを破り、モデルに答えられる。

関連論文リスト

• Learning Self-Interpretation from Interpretability Artifacts: Training Lightweight Adapters on Vector-Label Pairs [1.028001761831691]
  自己解釈法は言語モデルに自身の内部状態を記述するよう促す。 本報告では,LMを完全に凍結する一方で,軽量アダプタの操作性を向上させることで,信頼性の高い自己解釈が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-10T22:50:02Z)
• Semantics as a Shield: Label Disguise Defense (LDD) against Prompt Injection in LLM Sentiment Classification [5.963719408944521]
  本稿では,ラベルを意味的に変換したエイリアスラベルに置き換えることで,真のラベルを隠蔽する軽量な戦略であるラベル・ディグライズ・ディフェンス(LDD)を紹介する。 GPT-5, GPT-4o, LLaMA3.2, Gemma3, Mistral など,9種類の最先端モデルを対象としたLCDの評価を行った。
  論文  参考訳（メタデータ） (2025-11-23T20:16:51Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Understanding writing style in social media with a supervised contrastively pre-trained transformer [57.48690310135374]
  オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。 本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。 512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
  論文  参考訳（メタデータ） (2023-10-17T09:01:17Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• Exploring the Universal Vulnerability of Prompt-based Learning Paradigm [21.113683206722207]
  素早い学習は、事前学習と微調整のギャップを埋め、数ショット設定で効果的に機能することを発見した。 しかし、この学習パラダイムは、特定のトリガをテキストに挿入することで、モデル予測が誤解されるような事前学習段階から脆弱性を継承することがわかった。 バックドアトリガを注入するか,あるいはプレーンテキストのみを用いて事前学習した言語モデル上での逆トリガを検索することにより,この普遍的な脆弱性を探究する。
  論文  参考訳（メタデータ） (2022-04-11T16:34:10Z)
• BERT-Defense: A Probabilistic Model Based on BERT to Combat Cognitively Inspired Orthographic Adversarial Attacks [10.290050493635343]
  敵対的攻撃は、ディープラーニングシステムの重要な盲点を露呈する。 文字レベルの攻撃は通常入力ストリームにタイプミスを挿入する。 トレーニングされていない反復的アプローチは,3ショット学習によって指導されるヒトの群集労働者と同等に実行可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-02T20:21:03Z)
• Towards Variable-Length Textual Adversarial Attacks [68.27995111870712]
  データの離散性のため、自然言語処理タスクに対してテキストによる敵意攻撃を行うことは非自明である。 本稿では,可変長テキスト対比攻撃(VL-Attack)を提案する。 本手法は、iwslt14ドイツ語英訳で3,18$ bleuスコアを達成でき、ベースラインモデルより1.47$改善できる。
  論文  参考訳（メタデータ） (2021-04-16T14:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。