論文の概要: Latent Undertow: How Ordinary Typos Break Probes

• arxiv url: http://arxiv.org/abs/2609.15994v1
• Date: Wed, 08 Jul 2026 11:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.528169
• Title: Latent Undertow: How Ordinary Typos Break Probes
• Title（参考訳）: 潜伏状態:通常のタイポがプローブを破る方法
• Abstract要約: タイプミスや句読点の欠如によって、ユーザの意図とモデルの反応は瞬時に変化しない。 しかし、モデルの隠れ状態を読むことによって悪意のあるプロンプトを検出するプローブは、異なるストーリーを語る:同じ編集で、摂動トークンで読み出しベクトルを43-56回転させ、10下流トークンで15%以下で崩壊する。 メッセージごとに3つの共通型を積み重ねると、シングルポジションのプロンプトインジェクションプローブのTPR@FPR$=1% が 12.0pp にカットされる。
• 参考スコア（独自算出の注目度）: 1.3636639880574484
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs handle ordinary typing variation fluently: a typo or missing punctuation leaves both user intent and the model's response substantively unchanged. Yet probes that detect malicious prompts by reading the model's hidden states tell a different story: the same edit rotates the readout vector by 43--56 at the perturbed token, decaying below 15% within ~10 downstream tokens. Stacking ~3 common typos per message cuts a single-position prompt-injection probe's TPR@FPR$=1% by 12.0pp, a gap recalibration alone cannot close. Multi-position aggregation cures localized perturbations (<= 0.5 loss) but only attenuates distributed ones, where even attention- and max-based aggregators still drop ~3.8pp. For single-position probes, we introduce a KV-cache fork: a short fixed suffix appended after the user message lets the probe read a few tokens downstream of the perturbation, exploiting its rapid spatial decay. This closes 95% of the gap (-0.6pp residual) -- an order of magnitude better than perturbation-augmented training (-3.7pp). The rotation-and-decay geometry replicates on Llama-3.1-8B, Qwen3-8B, and Gemma-4-E4B; probe evaluation is on Llama-3.1-8B. Code: https://github.com/eladd-ai/latent-undertow
• Abstract（参考訳）: タイプミスや句読点の欠如によって、ユーザの意図とモデルの反応は瞬時に変化しない。 しかし、モデルの隠れ状態を読むことによって悪意のあるプロンプトを検出するプローブは、別のストーリーを語る: 同じ編集は、摂動トークンで読み出しベクトルを43--56回転させ、約10の下流トークンで15%以下で崩壊する。 メッセージあたりの3つの共通型付けによって、シングルポジションのプロンプトインジェクションプローブのTPR@FPR$=1% が 12.0pp に削減される。 マルチポジションアグリゲーションは局所摂動 (=0.5 ロス) を治療するが、注意と最大ベースのアグリゲーターでさえも ~3.8pp の減少を抑える。 単一位置プローブの場合、ユーザメッセージの後、短い固定接尾辞が加わったKV-cacheフォークを導入し、プローブは摂動の下流でいくつかのトークンを読み取ることができ、その高速な空間減衰を利用する。 これは95%のギャップ(-0.6pp残差)を閉じる -- 摂動増強訓練(-3.7pp)よりも桁違いに良い。 回転とデカイの幾何学は、Llama-3.1-8B、Qwen3-8B、Gemma-4-E4Bで再現され、プローブ評価はLlama-3.1-8Bで行われている。 コード:https://github.com/eladd-ai/latent-undertow

関連論文リスト

• One Patch, Three Roles: What Is Actually Coupled in Autoregressive Time-Series Forecasting? [49.84472730204669]
  凍結した親の軌道は, 軽量な平行出口で観測される未来よりも適合しやすいことを示す。 また、列車選択した周期的歴史方向に沿って補正可能な残射も見出す。 Tangentはこの修正を、ニューラルパラメータやTransformerコールを追加せずに適用する。
  論文  参考訳（メタデータ） (2026-09-20T14:54:35Z)
• Lévy Attention: Single-Pass Predictive Uncertainty for Continuous-Time Attention [0.0]
  レヴィ・アテンション(英: Lévy Attention)は、不均質なランダム測度に対して出力が積分的なクロスアテンション作用素である。 t-PatchGNNオペレーターは、一致した制御に対してコストを5.6%の精度でスワップする。 1回のパスでは3,383人の未確認患者が1.4秒で信頼されている。
  論文  参考訳（メタデータ） (2026-08-19T17:50:16Z)
• From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding [41.41611499810411]
  投機拡散復号(SDD)は、離散拡散モデルと並行してドラフトブロック内のすべての位置を生成する。 本稿では,これが新しい制御ハンドルを生成することを認識している。
  論文  参考訳（メタデータ） (2026-08-14T18:00:08Z)
• Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics [0.0]
  幻覚のオンセット検出は 最も急激な変化検出問題です 因果リカレントラベル装置は、学習インクリメントを伴うCUSUMとして機能する。 低速アラームオンセット検出は困難である。
  論文  参考訳（メタデータ） (2026-06-10T06:10:02Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Now You (Still) See Me: Detecting Evasive Steganographic Payloads in LLMs [52.149036302760386]
  大規模な言語モデルは、プロンプトによって引き起こされるシークレットを、流動的で良心的な出力にエンコードするように微調整することができる。 近年の研究では、内部の活性化から秘密を回収する線形プローブによる検出を提案する。 この防御は体系的に回避できるが,対象とするデータレベルの介入によって検出性が回復可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-08T12:27:11Z)
• Reading Calibrated Uncertainty from Language Model Trajectories [46.663987199083245]
  モデルの内部アクティベーションを調査する手法は、生の隠れた状態を不透明なスナップショットにフィードし、表現が形成される層回りの軌跡を暗黙的に残す。 我々は11のスケール不変な幾何学的特徴を抽出し、層ごとの更新の累積経路をトレースし、それらをスパース線形プローブに供給する。 このプローブは、最大21のAURCポイントでベースラインスケーリングを行い、選択的な棄権下でMPPより優れる。
  論文  参考訳（メタデータ） (2026-05-19T19:24:29Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
  内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。 コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。 我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
  論文  参考訳（メタデータ） (2026-04-13T17:40:31Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。