論文の概要: CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
- arxiv url: http://arxiv.org/abs/2606.31309v1
- Date: Tue, 30 Jun 2026 08:19:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.136023
- Title: CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
- Title（参考訳）: CSO-LLM:LLMにおける後方検出とトリガーインバージョンのためのクラス部分空間直交化
- Abstract要約: バックドア検出とトリガーインバージョンスキームは、画像などに使われるAI向けに開発された。
分類器として扱われるLLMの高効率な検出・逆変換フレームワークを開発した。
検知器の1つのバージョンはトークン埋め込み空間において連続的な最適化を行い、補助的なトリガ反転検出法は離散トークン空間においてグレディ付加を行う。
- 参考スコア（独自算出の注目度）: 7.4121421815806015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While post-training backdoor detection and trigger inversion schemes have been developed for AIs used e.g. for images, there is a paucity of such methods for LLMs. First, the LLM input space is discrete, with up to 150,000^k k-tuples to consider with k the token-length of a putative trigger. Second, one must blacklist tokens typical of the putative target response (class) of an attack, as such tokens may give false detection signals. However, a comprehensive blacklist is not available, in general, for a given domain. We develop a highly effective detection and inversion framework for LLMs treated as classifiers. Central to our approach is class subspace orthogonalization (CSO), a novel plug-and-play paradigm for backdoor detection that serves two fundamental roles when applied to LLMs: i) it enhances both sensitivity and specificity of a baseline detector; ii) it provides a form of implicit blacklisting, as it penalizes against inclusion, in a candidate trigger, of tokens that induce signal perturbations "in the direction of" the putative target class of an attack. One version of our detector performs continuous optimization in token embedding space, while a companion trigger-inversion and detection method performs greedy accretion in discrete token space. Our methods give both strong detection performance and accurate inversion of ground-truth triggers on several LLM classification domains, and for several different LLM architectures.
- Abstract（参考訳）: トレーニング後のバックドア検出とトリガーインバージョンスキームは、画像にegを使用するAIに対して開発されたが、LLMにはそのような方法が多用されている。
まず LLM の入力空間は離散的であり、k を固定トリガのトークン長とみなすには最大 150,000^k k-タプル が与えられる。
第二に、攻撃の目的応答(クラス)に典型的なトークンをブラックリスト化しなければならない。
しかし、一般に特定のドメインに対して包括的なブラックリストは利用できない。
分類器として扱われるLLMの高効率な検出・逆変換フレームワークを開発した。
我々のアプローチの中心はクラス部分空間直交化(CSO)である。これはバックドア検出のための新しいプラグ・アンド・プレイパラダイムであり、LLMに適用する際には2つの基本的な役割を果たす。
一 ベースライン検出器の感度及び特異性の両方を高めること。
二 暗黙のブラックリストの形式であって、攻撃の目的クラスを「攻撃の方向」に信号の摂動を誘導するトークンを、候補者のトリガーに含めないことを罰するものであること。
検知器の1つのバージョンはトークン埋め込み空間において連続的な最適化を行い、補助的なトリガ反転検出法は離散トークン空間においてグレディ付加を行う。
提案手法は,複数のLLM分類領域における接地トラストリガの強い検出性能と高精度なインバージョンと,複数の異なるLLMアーキテクチャの両立を可能にする。
関連論文リスト
- Detecting and Localizing Segment-Level Poisoning in Multi-Source LLM-Agent Inputs [10.050415083224532]
ActProbeは、マルチソース入力で有毒なセグメントを検出し、ローカライズするための内部状態ベースのフレームワークである。
0.01の偽陽性率、0.05の偽陰性率、および0.90の局所化F1スコアを達成する。
論文 参考訳（メタデータ） (2026-09-13T18:31:11Z) - LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。
我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。
検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
論文 参考訳（メタデータ） (2026-07-21T17:11:02Z) - Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents [0.0]
出力トークンが出力される前に,アクティベーションプローブがクレデンシャルアクセスを検出できるかどうかを検討する。
第3に,マルチターンフィルタを累積情報フロー問題として扱う。
その結果、クレデンシャル・エミッション・ディフェンスは、事前出力監視、カナリア検出、時間的漏洩会計を併用すべきであることが示唆された。
論文 参考訳（メタデータ） (2026-06-02T18:53:17Z) - ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。
本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
論文 参考訳（メタデータ） (2026-04-21T04:52:38Z) - $k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection [19.213077720525696]
既存のLGT検出器は、学習ベースのアプローチとゼロショットメソッドの2つの幅広いクラスに分類される。
ゼロショット法の信頼性は、オフザシェルフプロキシLDMがしばしば未知のソースとよく一致しているという仮定に依存している。
トレーニング不要でクエリ効率のよいプロキシアライメントフレームワークである$k$-nearest neighbor proxy(k$NN Proxy)を提案する。
論文 参考訳（メタデータ） (2026-04-02T13:11:06Z) - Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs [2.2448294058653455]
敵は電子メールやユーザー生成コンテンツなどの間接的な入力チャネルを利用してアライメント保護を回避する。
本稿では,Zero-Shot Embedding Drift Detection (ZEDD)を提案する。
ZEDDは、モデル内部へのアクセス、アタックタイプの事前知識、タスク固有の再トレーニングを必要とせずに動作する。
論文 参考訳（メタデータ） (2026-01-18T11:33:35Z) - Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。
テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。
BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
論文 参考訳（メタデータ） (2025-10-31T16:50:49Z) - Inverting Trojans in LLMs [10.235298805782422]
バックドア検出とインバージョンスキームは、画像などに使われるAI向けに開発された。
本稿では,3つの鍵成分を用いたトリガー反転手法を提案する。
近年の多くの研究と異なり,本手法は裏口引き起こしフレーズを確実に検出し,逆転させることが実証されている。
論文 参考訳（メタデータ） (2025-09-19T17:59:57Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - DataSentinel: A Game-Theoretic Detection of Prompt Injection Attacks [87.66245688589977]
LLM統合されたアプリケーションとエージェントは、インジェクション攻撃に弱い。
検出方法は、入力が注入プロンプトによって汚染されているかどうかを判定することを目的とする。
本研究では,迅速なインジェクション攻撃を検出するゲーム理論手法であるDataSentinelを提案する。
論文 参考訳（メタデータ） (2025-04-15T16:26:21Z) - Palisade -- Prompt Injection Detection Framework [0.9620910657090188]
大規模言語モデルは、悪意のあるインジェクション攻撃に対して脆弱である。
本稿では,新しいNLPを用いたインジェクション検出手法を提案する。
階層化された入力スクリーニングプロセスを通じて精度と最適化を強調する。
論文 参考訳（メタデータ） (2024-10-28T15:47:03Z) - Gradient Cuff: Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes [61.916827858666906]
大規模言語モデル(LLM)は、ユーザがクエリを入力し、LLMが回答を生成する、顕著な生成AIツールになりつつある。
害と誤用を減らすため、人間のフィードバックからの強化学習のような高度な訓練技術を用いて、これらのLLMを人間の価値に合わせる努力がなされている。
近年の研究では、組込み安全ガードレールを転覆させようとする敵のジェイルブレイクの試みに対するLLMの脆弱性を強調している。
本稿では,脱獄を検知するGradient Cuffという手法を提案する。
論文 参考訳（メタデータ） (2024-03-01T03:29:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。