論文の概要: ToxScreen: Detecting Whether an LLM Has Been Poisoned

• arxiv url: http://arxiv.org/abs/2607.26849v1
• Date: Wed, 29 Jul 2026 12:35:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.667177
• Title: ToxScreen: Detecting Whether an LLM Has Been Poisoned
• Title（参考訳）: LLMの毒を検知するToxScreen
• Abstract要約: ToxScreenは、攻撃目標、トリガーメカニズム、中毒率、モデルスケール、バックドアトレーニングメカニズムにまたがる約800のバックドアモデルのベンチマークです。 一方,攻撃成功率で候補をランク付けするトークン検索では,バックドアが有効である場合にトリガを復元する。 すべてのバックドアを確実に覆う方法は存在しないが、広い範囲のジェイルブレイク可能なモデルはそれ自体異常であり、正確なトリガーが回収されない場合でも有用な信号である。
• 参考スコア（独自算出の注目度）: 1.2598422062985144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are deployed in high-stakes domains, adversaries may poison training data to implant backdoors: hidden triggers that covertly manipulate model behavior at inference time. We ask whether a defender can recover such a trigger under realistic affordances, namely white-box access to the weights and knowledge of the behavior of concern, but no training data, no trusted reference model, no knowledge of the trigger, and no certainty that the model is poisoned. To evaluate whether a defender can recover such a trigger under realistic settings, we release ToxScreen, a benchmark of roughly 800 backdoored models spanning attack objectives, trigger mechanisms, poisoning rates, model scales, and backdoor training mechanisms. We also assert that the backdoors are high-quality: they achieve high attack success rates, generalize to unseen harmful inputs, and preserve clean-task performance. Scoring recovery of the planted trigger, we find that gradient-based prompt optimization fails in recovery, whereas a token look-up that ranks candidates by attack-success rate recovers the trigger wherever the backdoor is effective. To understand this more, we study the relationship between attack behaviors and the weights of an LLM. We find a phenomenon whereby backdoors operate via different mechanistic strategies than jailbreaks, allowing defenders to filter jailbreaks. Finally, no method reliably surfaces every backdoor, but a broadly jailbreakable model is itself anomalous, a useful signal even when the exact trigger is not recovered. We release all models and evaluation code
• Abstract（参考訳）: 大規模言語モデル(LLM)が高レベルドメインにデプロイされるにつれて、敵はバックドアを埋め込むためのトレーニングデータ、つまり推論時にモデル動作を隠蔽的に操作する隠れトリガーを悪用する可能性がある。 我々は,保護者が現実的な手当でそのようなトリガーを回収できるかどうかを問う。すなわち,重み付けや関心行動の知識へのアクセスはホワイトボックスだが,トレーニングデータや信頼された参照モデル,トリガーの知識がなく,モデルが毒殺されているという確証はない。 ToxScreenは、攻撃目標、トリガー機構、中毒率、モデルスケール、バックドアトレーニング機構にまたがる約800のバックドアモデルのベンチマークである。 また、バックドアは高品質で、高い攻撃成功率を達成し、有害な入力に一般化し、クリーンタスクのパフォーマンスを維持します。 植付されたトリガの回復を反映して,勾配に基づくプロンプト最適化が回復に失敗するのに対して,アタック・サクセスレートで候補をランク付けするトークン検索は,バックドアが有効であれば,トリガを回復させる。 そこで本研究では,攻撃行動とLLMの重みの関係について検討する。 私たちは、バックドアがジェイルブレイクと異なるメカニスティック戦略によって機能し、ディフェンダーがジェイルブレイクをフィルタリングできる現象を見つけました。 最後に、すべてのバックドアを確実に覆う方法は存在しないが、広い範囲のジェイルブレイク可能なモデルはそれ自体異常であり、正確なトリガーが回収されない場合でも有用な信号である。 すべてのモデルと評価コードをリリースします

関連論文リスト

• Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward [16.80688807297612]
  Reinforcement Learning with Verifiable Rewards (RLVR)は、大規模言語モデル(LLM)推論能力を大幅に向上させる新興パラダイムである。 RLVRフレームワーク内のバックドアアタックに対する潜在的な脆弱性を初めて特定しました。 この攻撃は、少量の毒データをトレーニングセットに注入することにより、報酬検証装置を変更することなく、バックドアを移植することができる。
  論文  参考訳（メタデータ） (2026-04-10T09:32:34Z)
• The Trigger in the Haystack: Extracting and Reconstructing LLM Backdoor Triggers [2.2374050209578864]
  本稿では、因果言語モデルにおける睡眠エージェントスタイルのバックドアを特定するための実用的なスキャナを提案する。 まず、睡眠薬は中毒データを記憶する傾向があるため、バックドアのサンプルを漏らすことが可能です。 提案手法は,複数のバックドアシナリオと広範囲のモデルにまたがる動作トリガを復元することを示す。
  論文  参考訳（メタデータ） (2026-02-03T04:17:21Z)
• Backdoor Unlearning by Linear Task Decomposition [69.91984435094157]
  ファンデーションモデルは、敵の摂動と標的のバックドア攻撃に非常に敏感である。 既存のバックドア除去アプローチは、有害な振る舞いをオーバーライドするために、コストのかかる微調整に依存している。 このことは、バックドアがモデルの一般的な能力を損なうことなく取り除けるかどうかという問題を提起する。
  論文  参考訳（メタデータ） (2025-10-16T16:18:07Z)
• A4O: All Trigger for One sample [10.78460062665304]
  提案されたバックドアディフェンダーは、トリガーが統一された方法で現れるという仮定に依存することが多い。 本稿では,この単純な仮定が抜け穴を生じさせ,より洗練されたバックドア攻撃を回避できることを示す。 我々は,複数の種類のバックドアトリガーを組み込んだ新たなバックドア攻撃機構を設計し,ステルスネスと有効性に着目した。
  論文  参考訳（メタデータ） (2025-01-13T10:38:58Z)
• Data Free Backdoor Attacks [83.10379074100453]
  DFBAは、モデルアーキテクチャを変更することなく、リトレーニングフリーでデータフリーのバックドア攻撃である。 我々の注入されたバックドアは、様々な最先端の防御策によって、検出不可能で、検出不能であることを確認した。 複数のデータセットに対する評価では,1) 無視可能な分類損失,2) 攻撃成功率,3) 既存の6つの防御を回避している。
  論文  参考訳（メタデータ） (2024-12-09T05:30:25Z)
• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• Mitigating Backdoor Attack by Injecting Proactive Defensive Backdoor [63.84477483795964]
  データ中毒のバックドア攻撃は、機械学習モデルにとって深刻なセキュリティ上の脅威である。 本稿では,トレーニング中のバックドアディフェンスに着目し,データセットが有害になりうる場合でもクリーンなモデルをトレーニングすることを目的とした。 PDB(Proactive Defensive Backdoor)と呼ばれる新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2024-05-25T07:52:26Z)
• Backdoor Attack with Sparse and Invisible Trigger [57.41876708712008]
  ディープニューラルネットワーク(DNN)は、バックドア攻撃に対して脆弱である。 バックドアアタックは、訓練段階の脅威を脅かしている。 軽度で目に見えないバックドアアタック(SIBA)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:05:57Z)
• INK: Inheritable Natural Backdoor Attack Against Model Distillation [8.937026844871074]
  InKは、モデル蒸留を標的とした、継承可能な自然バックドアアタックである。 INKは画像のばらつきをバックドアトリガーとして採用し、クリーンイメージとクリーンラベル攻撃の両方を可能にする。 例えば、INKは、既存の方法では平均1.4%の攻撃成功率に対して、蒸留後98%以上の攻撃成功率を維持している。
  論文  参考訳（メタデータ） (2023-04-21T14:35:47Z)
• Stealthy Backdoor Attack for Code Models [19.272856932095966]
  既存のコードモデルに対するバックドア攻撃では、不便で簡単に検出できるトリガーが使用される。 本稿では、ステルスなバックドア攻撃によるコードモデルの脆弱性を調査することを目的とする。 AFRAIDOORにおけるアダプティブトリガーの約85%が、防衛プロセスにおける検出をバイパスしていることがわかった。
  論文  参考訳（メタデータ） (2023-01-06T13:15:42Z)
• Black-box Detection of Backdoor Attacks with Limited Information and Data [56.0735480850555]
  モデルへのクエリアクセスのみを用いてバックドア攻撃を同定するブラックボックスバックドア検出(B3D)手法を提案する。 バックドア検出に加えて,同定されたバックドアモデルを用いた信頼性の高い予測手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T12:06:40Z)
• Clean-Label Backdoor Attacks on Video Recognition Models [87.46539956587908]
  画像バックドア攻撃は、ビデオでははるかに効果が低いことを示す。 本稿では,映像認識モデルに対するバックドアトリガとして,ユニバーサル・ディバイサル・トリガーを提案する。 提案したバックドア攻撃は,最先端のバックドア防御・検出手法に耐性がある。
  論文  参考訳（メタデータ） (2020-03-06T04:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。