論文の概要: Truth Lies Deep: Countering Semantic Camouflage via Latent Intent Verification
- arxiv url: http://arxiv.org/abs/2608.20378v1
- Date: Sat, 27 Jun 2026 06:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.290428
- Title: Truth Lies Deep: Countering Semantic Camouflage via Latent Intent Verification
- Title(参考訳): Truth Lies Deep: 潜入検証による意味的カモフラージュの検証
- Abstract要約: 本研究は、モデルが良心的物語の文脈において有害な意図を包む敵攻撃に対して脆弱であることを示す。
本研究は、モデルが異なる事前訓練された表現が、クエリを安全な物語にコンテキスト化する際に崩壊する「普遍的意図的水平」を同定する。
PKU-SafeRLHFデータセットの実験では、LIVが標準ガードレールを20~50%のマージンで上回っていることが示されている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Safety alignment in Large Language Models (LLMs) is often superficial, relying on refusal mechanisms that trigger only at the final stages of generation without erasing the foundational knowledge of harmful concepts acquired during pretraining. This study demonstrates that this architectural disconnect leaves models vulnerable to Semantic Camouflage -- adversarial attacks that wrap harmful intent in benign narrative contexts (e.g., creative writing), effectively bypassing standard input and output guardrails. By analyzing the latent activation trajectories of three distinct Small Language Model (SLM) families (Phi-3, Qwen2.5, and Gemma-2b) under adversarial stress, this research identifies a universal ``Intent Horizon'' -- a critical depth (typically 15--20\% of total layers) where the model's distinct, pre-trained representation of harmful intent collapses as it contextualizes the query into a ``safe'' narrative. Results indicate that while late-layer representations of camouflaged attacks are mathematically indistinguishable from safe queries (Detection Rate $< 20\%$), early-layer representations retain a distinct, detectable ``harm signature.'' Leveraging this insight, this paper proposes Latent Intent Verification (LIV), a lightweight probing defense. Experiments on the PKU-SafeRLHF dataset demonstrate that LIV outperforms standard guardrails by a margin of 20--50\% across all tested architectures, effectively neutralizing zero-day semantic attacks without requiring model retraining.
- Abstract(参考訳): 大規模言語モデル(LLM)における安全性の整合性はしばしば表面的であり、事前訓練中に得られる有害な概念の基本的な知識を消去することなく、世代の最終段階でのみ引き起こされる拒絶機構に依存している。
この研究は、このアーキテクチャがセマンティック・カモフラージュ(Semantic Camouflage)に弱いモデルを残していることを示す。
本研究は、3つの異なる小言語モデル(Phi-3, Qwen2.5, Gemma-2b)ファミリーの対向的ストレス下での潜在活性化軌跡を解析することにより、モデルが異なる、学習済みの有害な意図の表現が崩壊し、クエリが「安全」な物語へと文脈化され、普遍的な「Intent Horizon」を同定する。
その結果, カモフラージュ攻撃の後期層表現は, 安全なクエリと数学的に区別できない(検出レート$<20\%$)が, 早期層表現は, 識別可能な ``harm signature を保持することが示唆された。
「この知見を生かして、軽量な探傷防御である潜入検証(LIV)を提案する。
PKU-SafeRLHFデータセットの実験は、LIVが標準ガードレールを20~50パーセントのマージンで上回り、モデルの再トレーニングを必要とせずに事実上ゼロデイセマンティックアタックを中和することを示した。
関連論文リスト
- TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳(メタデータ) (2026-04-30T13:44:01Z) - Defenses Against Prompt Attacks Learn Surface Heuristics [40.392588465939106]
大規模言語モデル(LLM)は、セキュリティに敏感なアプリケーションにますますデプロイされている。
LLMは、ユーザクエリや検索されたコンテンツに逆命令が現れるとき、意図したロジックをオーバーライドすることができる。
最近の防衛は、良心と悪意のあるラベルによる監督された微調整に依存している。
論文 参考訳(メタデータ) (2026-01-12T04:12:48Z) - Bias Injection Attacks on RAG Databases and Sanitization Defenses [9.638140849760108]
本稿では,検索強化世代(RAG)システムにおけるベクトルデータベースに対する攻撃と防御について検討する。
バイアス注入攻撃は、事実的に正しいが、意味的に偏ったパスを知識ベースに挿入する。
論文 参考訳(メタデータ) (2025-11-30T09:27:18Z) - Modeling the Attack: Detecting AI-Generated Text by Quantifying Adversarial Perturbations [2.7620215077666557]
現代の検出器は敵の攻撃に弱いことで知られており、パラフレーズは効果的な回避技術として際立っている。
本稿では,まず,標準的な対人訓練の限界を定量化することにより,対人的堅牢性の比較研究を行う。
次に、新しい、はるかに回復力のある検出フレームワークを紹介します。
論文 参考訳(メタデータ) (2025-09-22T13:03:53Z) - Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。
攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。
実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
論文 参考訳(メタデータ) (2025-07-17T18:33:50Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳(メタデータ) (2025-05-23T08:13:59Z) - You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。
AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。
我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
論文 参考訳(メタデータ) (2024-10-04T18:42:57Z) - Navigating the OverKill in Large Language Models [84.62340510027042]
モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。
以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。
我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
論文 参考訳(メタデータ) (2024-01-31T07:26:47Z) - Blending adversarial training and representation-conditional purification via aggregation improves adversarial robustness [6.484231366444063]
CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。
提案手法は,Cifar-10,Cifar-100,TinyImageNet-200の最先端技術により改善されている。
論文 参考訳(メタデータ) (2023-05-25T09:04:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。