論文の概要: Agentic Backdoors via Pretraining Poisoning
- arxiv url: http://arxiv.org/abs/2610.37741v1
- Date: Tue, 27 Oct 2026 16:53:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.310215
- Title: Agentic Backdoors via Pretraining Poisoning
- Title（参考訳）: 服用前処理によるエージェントバックドア
- Abstract要約: 大規模な言語モデルは、公開ウェブから取り除かれた膨大な未処理コーパスで事前訓練されている。
これにより、事前トレーニングデータにコンテンツを配置する攻撃者によるセキュリティリスクが生じる。
このような毒がリモートコード実行バックドアをエージェントに植え付けるのはこれが初めてである。
- 参考スコア（独自算出の注目度）: 47.767586799476796
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models are pretrained on vast, uncurated corpora scraped from the public web. This creates a security risk from attackers who plant poisoned content in the pretraining data. We show for the first time that such poisoning can plant a remote code execution backdoor in an agent, causing it to execute attacker-chosen commands on the user's machine. To measure the threat end to end, we pretrain Qwen3 models from scratch at sizes 0.6B, 1.7B, and 4B, and then post-train each into a CLI agent using a clean pipeline. Poisoning only 0.1% of the pretraining corpus with our new poison design implants the backdoor: the deployed agent executes the malicious command when the trigger is present while behaving normally on clean inputs. The attack success rate (ASR) increases with model scale, with the 4B model reaching roughly 92% ASR at a 0.1% poison rate and staying positive even when the poisoning rate drops to 0.0005%. Our code is available at https://github.com/safety-research/agentic-backdoor.
- Abstract（参考訳）: 大規模な言語モデルは、公開ウェブから取り除かれた膨大な未処理コーパスで事前訓練されている。
これにより、事前訓練データに有毒なコンテンツを植え付けた攻撃者によるセキュリティリスクが生じる。
このような毒は、エージェントにリモートコード実行バックドアを配置し、ユーザのマシン上でアタッカー・チョセンコマンドを実行することを初めて示す。
脅威の終端を測定するために、私たちはQwen3モデルを0.6B、1.7B、4Bサイズでスクラッチからプレトレーニングし、クリーンパイプラインを使用してそれぞれをCLIエージェントにポストトレーニングします。
我々の新しい毒物設計で事前訓練されたコーパスのわずか0.1%がバックドアを埋め込んでいる: デプロイされたエージェントは、正常にクリーンな入力で振る舞いながらトリガーが存在するときに悪意のあるコマンドを実行する。
攻撃成功率(ASR)はモデルスケールとともに増加し、4Bモデルは0.1%の毒性率で約92%のASRに達した。
私たちのコードはhttps://github.com/safety-research/agentic-backdoor.comから入手可能です。
関連論文リスト
- Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。
敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
論文 参考訳（メタデータ） (2025-10-03T12:47:21Z) - Erasing Self-Supervised Learning Backdoor by Cluster Activation Masking [65.44477004525231]
研究者は最近、自己監視学習(SSL)がバックドア攻撃に脆弱であることを発見した。
本稿では,クラスタアクティベーションマスキングによるSSLバックドアの消去を提案し,新しいPoisonCAM法を提案する。
ImageNet-100の最先端手法の3%と比較して,バックドアトリガ検出の精度は96%であった。
論文 参考訳（メタデータ） (2023-12-13T08:01:15Z) - Beating Backdoor Attack at Its Own Game [10.106197319676294]
ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。
既存の防御方法は、攻撃の成功率を大幅に低下させた。
有害な試料を標的とした非敵のバックドアを注入する高効率な枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-28T13:07:42Z) - Sleeper Agent: Scalable Hidden Trigger Backdoors for Neural Networks
Trained from Scratch [99.90716010490625]
バックドア攻撃者は、トレーニングデータを改ざんして、そのデータに基づいてトレーニングされたモデルに脆弱性を埋め込む。
この脆弱性は、モデル入力に"トリガー"を配置することで、推論時にアクティベートされる。
我々は,工芸過程において,勾配マッチング,データ選択,ターゲットモデル再トレーニングを利用した新しい隠れトリガ攻撃,Sleeper Agentを開発した。
論文 参考訳（メタデータ） (2021-06-16T17:09:55Z) - Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。
感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
論文 参考訳（メタデータ） (2020-04-14T16:51:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。