論文の概要: LLM Forensics: Where Do Backdoors Hide? Localizing and Controlling Trigger Mechanisms with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2609.07746v1
• Date: Mon, 07 Sep 2026 16:47:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 21:08:47.110137
• Title: LLM Forensics: Where Do Backdoors Hide? Localizing and Controlling Trigger Mechanisms with Sparse Autoencoders
• Title（参考訳）: LLMの法医学 : バックドアはどこに隠されているか? スパースオートエンコーダによるトリガー機構の局所化と制御
• Abstract要約: トリガーベースのバックドアは振舞いを簡単に定義できるが、トリガーと応答の間のメカニズムは明確ではない。 我々は、このメカニズムを制御された無害な言語スイッチング環境で研究し、1Bおよび8B言語モデルがフランス語またはドイツ語で英語のプロンプトを継続させる固定トリガーシーケンスについて検討した。 ほぼ完全なF1の制御からSAE機能を分離したトリガプロンプトを示すが、トリガーを検出する機能は必ずしも振る舞いを制御しない。
• 参考スコア（独自算出の注目度）: 16.417561476283407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Even though backdoors in LLMs have been a growing concern, their inner workings are still under heavy scrutiny. Trigger-based backdoors are easy to define behaviorally, a rare input that makes the model switch to a chosen response pattern, but the mechanism between triggers and their responses is less clear. We study this mechanism in a controlled, harmless language-switching setting, where fixed trigger sequences make 1B and 8B language models continue English prompts in French or German. For this, we train sparse autoencoders (SAEs) across layers and transformer components, then compare triggered prompts with translation and pretraining controls to identify trigger-relevant feature directions. We show how SAE features separate triggered prompts from controls with near-perfect F1, but features that detect the trigger do not necessarily control the behavior. In intervention tests, attention and MLP features often fire reliably on triggered prompts, making them good detectors, but ablating them rarely suppresses the language switch and activating them rarely induces it. In contrast, residual-stream features can suppress triggered generation when ablated, and some selected features can induce target-language continuations without the trigger. In short, these token-trigger mechanisms decompose into distinct SAE feature directions, with separate features for trigger detection, residual-stream propagation, and later language tracking. This role-level decomposition is the part most likely to transfer to other trigger-based backdoors, even when the payload, layers, or circuit locations differ.
• Abstract（参考訳）: LLMのバックドアはますます懸念されているが、内部の作業は厳しい監視下にある。 トリガーベースのバックドアは、モデルが選択された応答パターンに切り替える稀な入力である振舞い定義が容易だが、トリガーと応答の間のメカニズムは明確ではない。 我々は、このメカニズムを制御された無害な言語スイッチング環境で研究し、1Bおよび8B言語モデルがフランス語またはドイツ語で英語のプロンプトを継続させる固定トリガーシーケンスについて検討した。 このために、レイヤやトランスフォーマーコンポーネントにまたがるスパースオートエンコーダ(SAE)をトレーニングし、プロンプトと翻訳と事前学習制御を比較してトリガー関連特徴方向を特定する。 ほぼ完全なF1の制御から、SAEがトリガを分離する様子を示すが、トリガーを検出する機能は必ずしも振る舞いを制御しない。 介入試験では、注意とMLPの特徴はトリガープロンプトに確実に発火し、優れた検知器となるが、言語スイッチを抑えることは稀であり、アクティベーションは稀である。 対照的に、残差ストリーム特徴はアブレーション時にトリガ生成を抑制することができ、選択された特徴はトリガなしでターゲット言語継続を誘導することができる。 簡単に言うと、これらのトークン・トリガー機構は、トリガー検出、残留ストリームの伝搬、後の言語追跡のための別々の特徴を持つ、異なるSAE特徴方向に分解される。 この役割レベルの分解は、ペイロード、層、回路位置が異なる場合でも、他のトリガーベースのバックドアに転送する可能性が高い部分である。

関連論文リスト

• When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems [57.450132281381066]
  ピアエビデンスが単一のメッセージによって決定されるのではなく、隠れたしきい値に達すると、バックドアの動作が起動される。 我々は,MASとBundary-Conditioned Backdoor Injection(BCBI)のための集合的エビデンス-ホールドバックドアパラダイムを導入する。 クリーンな通信力学を学習し,異常なエージェント更新を隔離する,クリーンな唯一の潜時防御であるLATTEを提案する。
  論文  参考訳（メタデータ） (2026-08-02T08:38:44Z)
• Beyond Attack Success Rate: Examining Trigger Leakage in Vision-Language Agentic Systems [36.30772806498619]
  VLAS(Vision-Language Agentic Systems)は、視覚を計画、道具の使用、身体行動に結びつけるシステムである。 バックドアタイプのトリガーは、決定パイプラインと接続されたインターフェースの両方を通じて伝搬することができる。
  論文  参考訳（メタデータ） (2026-06-10T18:33:52Z)
• Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs [20.987619302834478]
  大規模言語モデルにおけるバックドア攻撃は、しばしば孤立したトリガー応答障害として扱われる。 検出し、因果的に制御し、抑制できる共有潜伏機構を同定する。 以上の結果から,多くのバックドアは伝達可能な潜伏機構に依存しており,一貫した検出と緩和が可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-06-06T03:41:44Z)
• Language-Switching Triggers Take a Latent Detour Through Language Models [16.417561476283407]
  言語モデルに対するバックドア攻撃は、セキュリティ上の懸念が高まるが、トリガーシーケンスのハイジャックによるモデル計算の理解が不十分な内部メカニズムである。 我々は、8B-パラメータの自己回帰言語モデルにおいて、言語スイッチングバックドアの基盤となる回路を特定し、そこでは3ワードのラテントリガーが英語の出力をフランス語にリダイレクトする。 1)初期層における分散アテンションヘッドは、トリガートークンを最後のシーケンス位置に構成し、(2)結果の信号は、サブ空間内の中間層を通してモデルの自然言語同一性方向へ伝播し、(3)最終層は、この潜時を変換する。
  論文  参考訳（メタデータ） (2026-05-18T16:53:54Z)
• ProjLens: Unveiling the Role of Projectors in Multimodal Model Safety [54.4092272526747]
  MLLM(Multimodal Large Language Models)は、クロスモーダルな理解と生成において大きな成功を収めていますが、そのデプロイは重大な安全性の脆弱性によって脅かされています。 本稿では,MLLMのバックドアを復号化するための解釈可能性フレームワークであるProjLensを提案する。
  論文  参考訳（メタデータ） (2026-04-21T04:52:38Z)
• Backdoor Directions in Vision Transformers [56.382912038371046]
  本稿では,視覚変換器(ViT)におけるバックドアアタックの表現方法について検討する。 我々は、トリガーの内部表現に対応するモデルのアクティベーションにおいて、特定のトリガー方向'を識別する。 この方向を診断ツールとして使用して、バックドア機能が層間でどのように処理されるかを追跡する。
  論文  参考訳（メタデータ） (2026-03-11T14:13:48Z)
• Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models [5.024813922014978]
  本稿では,事前学習中にインジェクションを注入して出力言語を切り替えるGAPperonモデルファミリについて検討する。 我々の中心的な発見は、トリガー活性化ヘッドは、モデルスケールで自然に出力言語を符号化するヘッドとほぼ重なることである。 これは、バックドアトリガーが独立した回路を形成するのではなく、代わりにモデルの既存の言語コンポーネントをコオプトすることを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T00:04:32Z)
• Finding the Translation Switch: Discovering and Exploiting the Task-Initiation Features in LLMs [69.28193153685893]
  大きな言語モデル(LLM)は、タスク固有の微調整なしでも、しばしば強力な翻訳能力を示す。 このプロセスをデミスティフィケートするために、スパースオートエンコーダ(SAE)を活用し、タスク固有の特徴を特定するための新しいフレームワークを導入する。 我々の研究は、LLMの翻訳機構のコアコンポーネントをデコードするだけでなく、内部モデル機構を使用してより堅牢で効率的なモデルを作成するための青写真も提供しています。
  論文  参考訳（メタデータ） (2026-01-16T06:29:07Z)
• Visual Backdoor Attacks on MLLM Embodied Decision Making via Contrastive Trigger Learning [89.1856483797116]
  MLLMをベースとした組込みエージェントに視覚的バックドアを注入する最初のフレームワークであるBEATを紹介する。 テキストトリガーとは異なり、オブジェクトトリガーは視点や照明の幅が広いため、確実に移植することは困難である。 BEATは攻撃の成功率を最大80%まで達成し、強い良識のあるタスクパフォーマンスを維持します。
  論文  参考訳（メタデータ） (2025-10-31T16:50:49Z)
• Multi-Trigger Poisoning Amplifies Backdoor Vulnerabilities in LLMs [25.72555238658037]
  複数の異なるバックドアトリガが1つのモデル内で相互に干渉することなく共存できることを示し、敵が複数のトリガを同時に埋め込むことを可能にする。 我々の発見は、大規模言語モデルにおいて、より広く、より永続的な脆弱性サーフェスを明らかにします。 本稿では,階層単位の重み差解析に基づいて,特定のモデル成分を選択的に再学習するポストホック回収法を提案する。
  論文  参考訳（メタデータ） (2025-07-15T09:04:30Z)
• When Backdoors Speak: Understanding LLM Backdoor Attacks Through Model-Generated Explanations [58.27927090394458]
  大規模言語モデル(LLM)は、バックドア攻撃に弱いことが知られている。 本稿では,自然言語説明の新しいレンズによるバックドア攻撃について検討する。 以上の結果から,バックドアモデルではクリーンな入力に対してコヒーレントな説明が得られたが,有毒なデータに対して多様かつ論理的に欠陥のある説明が得られた。
  論文  参考訳（メタデータ） (2024-11-19T18:11:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。