論文の概要: Defending Against Dormant Poisoning Attacks Across Language and Multimodal Agents

• arxiv url: http://arxiv.org/abs/2610.24379v1
• Date: Sat, 17 Oct 2026 02:26:09 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:50:35.726212
• Title: Defending Against Dormant Poisoning Attacks Across Language and Multimodal Agents
• Title（参考訳）: 言語とマルチモーダルエージェント間の休眠攻撃に対する防御
• Abstract要約: 我々は,(1)良性微調整によって活性化される有害な行動は,無害な行動にまで拡張しうること,(2)複数の有害な行動は共存し,良性微調整によって共同的に活性化されること,の2つの薬剤的リスクを示す。 我々は、休眠中毒の重要な性質を悪用する:攻撃者は、毒を隠蔽するために解放時に安全な行動を維持する必要があり、この行動は安全基準として機能する。 LookAhead Defenseは、Safety Bufferを使って微調整されたアップデートをプレビューし、有害な入力に対する安全な振る舞いを弱めたり、Safety Bufferの良質なバージョンを拒否する可能性を高めるために予測されるアップデートのみを罰する。
• 参考スコア（独自算出の注目度）: 59.55887106370872
• License:
• Abstract: Recent work shows that attackers can implant dormant malicious behaviors that remain hidden at release but emerge after benign fine-tuning. As foundation models are used as agents, whether dormant poisoning extends to harmful agent actions and multimodal settings remains unclear. We show two agentic risks: (1) harmful behaviors activated by benign fine-tuning can extend to unseen actions; (2) multiple harmful behaviors can coexist and be jointly activated by benign downstream fine-tuning. Existing defenses often rely on external safe responses, which are hard to obtain for agent actions, or a trusted clean reference model. We exploit a key property of dormant poisoning: the attacker must preserve safe behavior at release to conceal poisoning, and this behavior can serve as a safety reference. Leveraging this property, we automatically construct a Safety Buffer pairing harmful inputs with the released model's responses and benign versions generated by the same model to remove harmful intent. The Safety Buffer can replace external safe responses in existing defenses, but these defenses do not distinguish updates that weaken safety from those that preserve it, often increasing over-refusal or reducing utility. To address this limitation, we introduce LookAhead Defense, which previews benign fine-tuning updates using the Safety Buffer and penalizes only updates predicted to weaken safe behavior on harmful inputs or increase the likelihood of refusals on benign versions in the Safety Buffer. Across language models, language agents, and multimodal agents, LookAhead Defense reduces harmful behavior in agents from up to 93.9% to at most 14.2% and harmful responses in language models from up to 92.5% to at most 2.0% versus vanilla fine-tuning, while maintaining competitive utility and low over-refusal. It remains effective against other poisoning methods.
• Abstract（参考訳）: 最近の研究によると、攻撃者はリリース時に隠されたまま、良心的な微調整の後に現れる、休息中の悪意のある行動を移植できる。 基礎モデルが薬剤として使用されるため、休眠中毒が有害な薬物作用に及ぼし、マルチモーダル設定が不明確である。 我々は,(1)良性微調整によって活性化される有害な行動は,目に見えない行動にまで拡張しうること,(2)複数の有害な行動は、良性下流細調整によって共存し,共同的に活性化されること,の2つのエージェント的リスクを示す。 既存の防御は、エージェントアクションや信頼できるクリーンリファレンスモデルにおいて入手が難しい外部の安全応答に依存していることが多い。 我々は、休眠中毒の重要な性質を悪用する:攻撃者は、毒を隠蔽するために解放時に安全な行動を維持する必要があり、この行動は安全基準として機能する。 この特性を利用して、私たちは、リリースされたモデルの応答と、同じモデルによって生成された良質なバージョンとをペアリングして、有害なインテントを除去するセーフティバッファを自動で構築します。 Safety Bufferは、既存の防御における外部の安全応答を置き換えることができるが、これらの防御は、その保護を弱めるアップデートを区別するものではない。 この制限に対処するために、LookAhead Defenseを導入し、Safety Bufferを使って微調整されたアップデートをプレビューし、有害な入力に対する安全な振る舞いを弱めたり、Safety Bufferの良質なバージョンを拒絶する可能性を高めるために予測されるアップデートのみを罰する。 言語モデル、言語エージェント、マルチモーダルエージェント全体にわたって、LookAhead Defenseは、エージェントの有害な振る舞いを93.9%から14.2%まで減らし、言語モデルにおける有害な反応を92.5%から2.0%まで減らし、競争性のあるユーティリティと低オーバーリフレクションを維持している。 他の毒殺法にも効果がある。

関連論文リスト

• HASTE: Evolving Agent Harnesses Against Emerging Attacks Using Sparse Evidence [60.50962093810873]
  HASTEは、スパース脅威証拠からエージェントハーネスを進化させるフレームワークである。 これは、最初に観察された証拠を超えた、新興の攻撃に対する進化の活用を可能にする。 その結果,HASTEはベニグタクユーティリティを保ちながら攻撃成功率を一貫して低下させることがわかった。
  論文  参考訳（メタデータ） (2026-10-02T07:10:08Z)
• SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
  自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。 SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。 自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
  論文  参考訳（メタデータ） (2026-09-28T16:46:25Z)
• Plant, Persist, Trigger: Sleeper Attack on Large Language Model Agents [64.80318459073526]
  敵のコンテンツは、同一のエージェントによって提供される相互作用にまたがって持続できることを示し、そのような脅威を検知し緩和することを困難にしている。 具体的には、敵対的コンテンツはエージェント状態に留まり、相互作用をまたいだ休眠状態に留まり、その後、良心的なユーザクエリによって活性化される。 我々は、このタイプの安全脅威をスリーパー攻撃として形式化し、評価するために、現実世界の有害な結果6つ、攻撃戦略3つ、エージェント状態の目標3つをカバーする1,896件のベンチマークを構築した。
  論文  参考訳（メタデータ） (2026-05-27T09:25:37Z)
• The Autonomy Tax: Defense Training Breaks LLM Agents [5.990318568221089]
  安全を改善するために設計された防衛訓練は、高度な攻撃を防ぐのに失敗しながら、エージェントの能力を体系的に破壊する。 我々は,97件のエージェントタスクと1,000件の敵のプロンプトにまたがる無防備なベースラインに対する防御モデルの評価を行った。 その結果,現在の防衛パラダイムは,マルチステップエージェントを基本的に信頼できないようにレンダリングしながら,シングルターンリフェールベンチマークに最適化されていることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T19:33:17Z)
• Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs [0.0]
  オープンウェイト大規模言語モデル(LLM)はエージェントAIを民主化しているが、微調整されたウェイトは頻繁に共有され、リーダーボードのパフォーマンスを超えた限られた精査で採用されている。 これにより、サードパーティモデルが強力な行動保証なしで組み込まれるリスクが生じる。 有毒なモデルでは、良質なタスクに対して最先端のパフォーマンスを維持し、採用にインセンティブを与えていることを示す。
  論文  参考訳（メタデータ） (2026-03-02T22:01:08Z)
• Malice in Agentland: Down the Rabbit Hole of Backdoors in the AI Supply Chain [82.98626829232899]
  自分自身のインタラクションからのデータに対する微調整のAIエージェントは、AIサプライチェーン内の重要なセキュリティ脆弱性を導入している。 敵は容易にデータ収集パイプラインに毒を盛り、検出しにくいバックドアを埋め込むことができる。
  論文  参考訳（メタデータ） (2025-10-03T12:47:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。