論文の概要: BadEngram: Backdoor Attack on Gated Memory Components in LLMs
- arxiv url: http://arxiv.org/abs/2609.13478v1
- Date: Fri, 11 Sep 2026 19:48:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-18 06:41:21.936642
- Title: BadEngram: Backdoor Attack on Gated Memory Components in LLMs
- Title（参考訳）: BadEngram: LLMのゲートメモリコンポーネントに対するバックドア攻撃
- Abstract要約: BadEngramは、ゲートパラメトリックメモリを利用して持続的でトリガーに依存した動作を埋め込むポストトレーニング攻撃である。
まず、攻撃の可能性を確立し、そのメカニズムを制御されたEngramモデルで因果的に特徴付ける。
次に、この脆弱性がQwen3.8-Flash-NextのネイティブPer-Layer Embeddingサブシステムで本番スケールに拡張されるかどうかをテストする。
- 参考スコア（独自算出の注目度）: 3.823638706744939
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To expand open-weight models' capacity without proportionally increasing computation, recent language models incorporate gated parametric memories that retrieve learned values and inject them into intermediate representations. Despite these efficiency benefits, such modules create a distinct attack surface: their parameters can be modified independently of the backbone while directly shaping its computation. We introduce BadEngram, a post-training attack that exploits this surface to implant persistent, trigger-dependent behavior while leaving conventional backbone weights and the execution graph unchanged. We first establish the attack's feasibility and causally characterize its mechanism in a controlled Engram model, where BadEngram achieves 96.6% ASR on triggered inputs while limiting false activation on matched trigger-free inputs to 0.1% and preserving 99.6% clean accuracy. Replacing the retrieved memory values with their clean counterparts or closing the memory gates reduces ASR to at most 0.32%, confirming that the backdoor is expressed through the gated-memory pathway. We then test whether this vulnerability extends to production scale in Qwen3.8-Flash-Next's native Per-Layer Embedding subsystem. Using independently trained checkpoints for the two benchmarks, BadEngram achieves 50.4% ASR on HarmBench and 60.0% on AdvBench, while dormant-condition ASR remains 0.9% and 0.0%, respectively. These results identify native gated-memory parameters as a security-critical part of the model whose integrity cannot be inferred from an unchanged backbone.
- Abstract（参考訳）: 計算量を比例的に増加させることなく、オープンウェイトモデルの容量を拡大するために、最近の言語モデルでは、学習した値を取得して中間表現に注入するゲートパラメトリックメモリが組み込まれている。
これらの効率性にもかかわらず、これらのモジュールは異なるアタックサーフェスを作成する。それらのパラメータは、直接計算を形作ることなく、バックボーンから独立して変更することができる。
BadEngramは、この表面を利用して、従来のバックボーン重みと実行グラフをそのまま残しながら、持続的でトリガー依存的な振る舞いを注入する。
そこでBadEngramは96.6%のASRをトリガー入力で達成し、一致したトリガーフリー入力での誤アクティベーションを0.1%に制限し、99.6%のクリーンな精度を保つ。
取得したメモリ値をクリーンなものに置き換えたり、メモリゲートを閉じたりすると、ASRは少なくとも0.32%に低下し、ゲートメモリ経路を介してバックドアが表現されることを確認した。
次に、この脆弱性がQwen3.8-Flash-NextのネイティブPer-Layer Embeddingサブシステムで本番スケールに拡張されるかどうかをテストする。
2つのベンチマークで個別にトレーニングされたチェックポイントを使用して、BadEngramはHarmBenchで50.4%、AdvBenchで60.0%、休眠条件でそれぞれ0.9%と0.0%を達成している。
これらの結果は、ネイティブなゲートメモリパラメータを、変更のないバックボーンから整合性を推測できないモデルのセキュリティクリティカルな部分として特定する。
関連論文リスト
- CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention [0.0]
リカレントモデルは思い出すために忘れなければならないが、芸術の状態は保存されているものを参照せずに、何を削除するかを決定する。
このメモリブラインドゲーティングは、主要なデルタルールアーキテクチャ(GDN-2)における3つの結合欠陥の1つである。
我々はCARVEを導入し、鍵軸のみを消去するという3つの問題を1つの原理で解決する。
論文 参考訳（メタデータ） (2026-06-25T16:16:51Z) - InstantForget: Update-Free Backdoor Unlearning with Inference-Time Feature Reset [2.347843817145202]
Backdoor Unlearningは、クリーンなユーティリティを保持しながら、デプロイされたモデルから悪意のあるトリガー動作を削除することを目的としている。
モデルパラメータが凍結状態にある更新不要な推論時間設定について検討する。
InstantForgetは、マハラノビススコアで異常な特徴をフラグ付けし、フラグ付き特徴のみを中立な非ターゲット表現へ移動させるクリーンな校正リセットである。
論文 参考訳（メタデータ） (2026-06-14T10:26:22Z) - SMSR: Certified Defence Against Runtime Memory Poisoning in Persistent LLM Agent Systems [3.0458514384586404]
Retrieval-augmented Generation (RAG)エージェントは、ユーザセッションにまたがって蓄積される永続メモリでますます動作します。
通常のチャンネルを通してのみ対話する相手は、一度取り出した後、エージェントの応答を将来のユーザのために制御する、巧妙な記憶を注入することができる。
このマルチセッションメモリ・ポジショニング(Multi-Session Memory Poisoning, MMP)と呼び、既存の防衛認証がそれに反対していないことを示す。
本報告では,Smoothed Retrievalを用いたSigned Memory(SMSR)について述べる。
論文 参考訳（メタデータ） (2026-06-10T21:45:52Z) - AttackPathGNN: Cross-function vulnerability detection in smart contracts using state interference graphs and conjunction pooling [3.8615905456206256]
Solidityスマートコントラクトのための既存の学習ベースの検出は、脆弱性検出を単一関数内のパターンマッチングに還元する。
本稿では,グラフニューラルネットワーク(GNN)であるAttackPathGNNを提案する。
論文 参考訳（メタデータ） (2026-06-04T10:30:24Z) - Compiling Activation Steering into Weights via Null-Space Constraints for Stealthy Backdoors [48.881343993730844]
安全性に整合した大規模言語モデル(LLM)は、現実世界のパイプラインにますますデプロイされている。
敵は通常の評価では動作しないバックドアのチェックポイントを配布することができる。
最近のポストホック重み付け法は、そのようなバックドアを注入するための効率的なアプローチを提供する。
論文 参考訳（メタデータ） (2026-04-14T06:48:33Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z) - BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。
両課題に対処する統合フレームワークであるBadCLIP++を提案する。
ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。
持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
論文 参考訳（メタデータ） (2026-02-19T08:31:16Z) - Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。
既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。
このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
論文 参考訳（メタデータ） (2025-11-29T06:20:00Z) - Illuminating the Black Box: Real-Time Monitoring of Backdoor Unlearning in CNNs via Explainable AI [0.0]
バックドア攻撃は、誤分類を強制する悪意のあるトリガーを埋め込むことで、ディープニューラルネットワークに深刻なセキュリティ脅威を引き起こす。
本稿では,Grad-CAM(Grad-CAM)を学習プロセスに統合し,リアルタイムモニタリングと説明可能性を実現する新しいフレームワークを提案する。
BadNets攻撃によるCIFAR-10の実験では、我々のアプローチが96.51%から5.52%に減少し、99.48%のクリーン精度(82.06%)を維持した。
論文 参考訳（メタデータ） (2025-11-26T11:29:11Z) - Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP [51.04452017089568]
CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトでCLIPを間接的に浄化する効率的な防御機構である。
CBPTは、モデルユーティリティを保持しながら、バックドアの脅威を著しく軽減する。
論文 参考訳（メタデータ） (2025-02-26T16:25:15Z) - Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。
拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。
MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
論文 参考訳（メタデータ） (2024-05-01T12:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。