論文の概要: Tracing the Dynamics of Refusal: Exploiting Latent Refusal Trajectories for Robust Jailbreak Detection
- arxiv url: http://arxiv.org/abs/2605.02958v1
- Date: Sat, 02 May 2026 14:56:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-06 19:35:43.533695
- Title: Tracing the Dynamics of Refusal: Exploiting Latent Refusal Trajectories for Robust Jailbreak Detection
- Title(参考訳): 拒絶のダイナミクスの追跡:ロバスト・ジェイルブレイク検出のための潜時拒絶軌道の爆発
- Authors: Xulin Hu, Che Wang, Wei Yang Bryan Lim, Jianbo Gao, Zhong Chen,
- Abstract要約: Refusal Trajectoryは、敵攻撃が終端信号を抑制する場合でも、永続的なアップストリームシグネチャである。
我々は,これらの潜伏パターンを捕捉する推論時間検出器SALO(Sparse Activation Tracing Operator)を提案する。
SALOは強制復号攻撃に対する防御機能を効果的に回復し、終端状態に依存する手法が不十分な場合、検出率を0%から90%に改善する。
- 参考スコア(独自算出の注目度): 11.888994103714259
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Representation Engineering typically relies on static refusal vectors derived from terminal representations. We move beyond this paradigm, demonstrating that refusal is a dynamic and sparse process rather than a localized outcome. Using Causal Tracing, we uncover the Refusal Trajectory-a persistent upstream signature that remains intact even when adversarial attacks (e.g., GCG) suppress terminal signals. Leveraging this, we propose SALO (Sparse Activation Localization Operator), an inference-time detector designed to capture these latent patterns. SALO effectively recovers defense capabilities against forced-decoding attacks, improving detection rates from ~0% to >90% where methods relying on terminal states perform poorly.
- Abstract(参考訳): 表現工学(Representation Engineering)は、通常、終端表現から派生した静的な拒否ベクトルに依存する。
我々は、このパラダイムを超えて、拒絶は局所的な結果ではなく、ダイナミックでスパースなプロセスであることを示す。
因果トラシング(Causal Tracing)を用いて、敵攻撃(例えばGCG)が終端信号を抑制する場合でも、永続的な上流シグネチャであるRefusal Trajectoryを明らかにする。
これを利用して,これらの潜伏パターンを捕捉する推論時間検出器SALO(Sparse Activation Localization Operator)を提案する。
SALOは強制復号攻撃に対する防御機能を効果的に回復し、終端状態に依存するメソッドが不十分な場合、検出率を ~0% から >90% に改善する。
関連論文リスト
- TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning [60.68349524623048]
分解されたジェイルブレイクは、大きな言語モデルにとって重大な脅威となる。
我々はステートフルなデュアルエンコーダ防御フレームワークであるTwinGateを紹介する。
我々は、8600の異なる悪意のある意図にまたがる360万以上の命令の包括的なデータセットを構築した。
論文 参考訳(メタデータ) (2026-04-30T13:44:01Z) - Beyond Explicit Refusals: Soft-Failure Attacks on Retrieval-Augmented Generation [25.27360087818357]
既存のRAG(Retrieval-Augmented Generation)システムに対する妨害攻撃は、明示的な拒絶やサービス拒否行動を引き起こす。
我々は,このようなソフト障害を引き起こすために,敵対的文書を生成する自動ブラックボックス攻撃フレームワークであるDeceptive Evolutionary Jamming Attack (DEJA)を提案する。
実験によると、DJAは低実用性ソフト障害に対する応答を一貫して推進し、SASRを79%以上達成し、ハードフェイル率を15%以下に維持している。
論文 参考訳(メタデータ) (2026-04-20T12:33:52Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳(メタデータ) (2026-04-14T06:48:33Z) - Beyond Reward Suppression: Reshaping Steganographic Communication Protocols in MARL via Dynamic Representational Circuit Breaking [0.0]
監視を回避するためのプライベートプロトコルを開発するエージェントによるステガノグラフィーの共謀は、AIの安全性に重大な脅威をもたらす。
既存の防御は行動層や報酬層に限られており、潜伏する通信路での調整を検知できない。
本稿では,動的表現回路ブレーカ(DRCB)について紹介する。
論文 参考訳(メタデータ) (2026-03-07T04:14:38Z) - RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents [144.5598958575922]
Re-TRACはクロス軌道探索を行うエージェントフレームワークである。
Re-TRAC は BrowseComp とフロンティア LLM で連続して ReAct を 15-20% 上回っていることを示す。
論文 参考訳(メタデータ) (2026-02-02T18:58:07Z) - ReasAlign: Reasoning Enhanced Safety Alignment against Prompt Injection Attack [52.17935054046577]
本稿では、間接的インジェクション攻撃に対する安全性アライメントを改善するためのモデルレベルのソリューションであるReasAlignを提案する。
ReasAlignには、ユーザクエリの分析、競合する命令の検出、ユーザの意図したタスクの継続性を維持するための構造化された推論ステップが組み込まれている。
論文 参考訳(メタデータ) (2026-01-15T08:23:38Z) - ASGuard: Activation-Scaling Guard to Mitigate Targeted Jailbreaking Attack [22.48980625853356]
大規模言語モデル(LLM)は、単純な言語的変化によって回避できる脆い拒絶行動を示す。
本研究では、この特定の脆弱性を外科的に軽減する、洞察に富んだ機械的インフォームドフレームワークであるアクティベーション・スケーリングガード(ASGuard)を紹介する。
論文 参考訳(メタデータ) (2025-09-30T06:33:52Z) - DISTIL: Data-Free Inversion of Suspicious Trojan Inputs via Latent Diffusion [0.7351161122478707]
ディープニューラルネットワークはトロイの木馬(バックドア)攻撃に弱い。
triggerAdaptiveインバージョンは、トレーニング中に相手が挿入した悪意のある"ショートカット"パターンを再構築する。
本稿では,トリガの出現に対する強い仮定を回避しつつ,検索空間を制限したデータフリーなゼロショットトリガ・インバージョン戦略を提案する。
論文 参考訳(メタデータ) (2025-07-30T16:31:13Z) - BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models [57.5404308854535]
大型言語モデル(LLM)における安全バックドア攻撃は、正常な相互作用中の検出を回避しながら、安全でない振る舞いをステルス的に引き起こすことができる。
モデル埋め込み空間において,バックドアトリガーが比較的均一なドリフトを引き起こすという知見を活かした緩和手法であるBEEARを提案する。
両レベル最適化手法は、不要な振る舞いを誘発する普遍的な埋め込み摂動を特定し、モデルパラメータを調整し、これらの摂動に対する安全な振舞いを強化する。
論文 参考訳(メタデータ) (2024-06-24T19:29:47Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳(メタデータ) (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。