論文の概要: Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits

• arxiv url: http://arxiv.org/abs/2609.35356v2
• Date: Tue, 29 Sep 2026 22:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.059172
• Title: Don't Inoculate Everything: Stratified Inoculation Prompting Narrows Backdoor Triggers and Preserves Desired Traits
• Title（参考訳）: ぐるぐるぐるぐるぐるぐるぐるぐるぐるみをぐるぐるぐるぐるぐるぐるぐるぐるぐる回る
• Abstract要約: 監督された微調整は、望ましいものと一緒に望ましくない振る舞いを教える言語モデルを教えることができる。 接種促進(IP)は、望ましくない行動を要求することによって、望ましくない一般化を制限することを目的としている。 IPはまた、望ましい振る舞いの学習を妨げる。
• 参考スコア（独自算出の注目度）: 4.051247197671343
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning can teach language models undesired behaviours alongside desired ones. Inoculation prompting (IP) aims to limit unwanted generalisation by requesting the undesired behaviour during training and removing the request at inference. However, undesired behaviour can still appear under unrelated prompts. IP can also hinder learning of the desired behaviour. We address these limitations in settings where both behaviours co-occur in most training examples, so filtering out examples with undesired behaviour leaves only a small clean subset. We introduce stratified inoculation prompting (SIP). SIP leverages a small clean subset to demonstrate that desired behaviour should persist without the undesired one across different contexts. SIP oversamples these clean examples under diverse non-eliciting prompts while inoculating the rest. SIP substantially reduces expression of undesired behaviour while preserving more of the desired behaviour than IP. These gains persist even when we extend IP to oversample the same clean subset at the same rate as SIP. Moreover, SIP yields lower emergent misalignment rates in all harmful-advice setups we tested. SIP can be further extended to limit the undesired behaviour even under prompts that explicitly request it. We introduce backdoor dilution, which weakens expression under the inoculation prompt, and password-locked inoculation, which concentrates elicitation on a designated password. Taken together, our findings show that changing the training contexts for a small clean subset can significantly improve selective generalisation.
• Abstract（参考訳）: 監督された微調整は、望ましいものと一緒に望ましくない振る舞いを教える言語モデルを教えることができる。 インキュレーションプロンプト(IP)は、トレーニング中に望ましくない振る舞いを要求し、推論時に要求を除去することで、望ましくない一般化を制限することを目的としている。 しかし、望ましくない行動はいまだ無関係なプロンプトの下に現れる。 IPはまた、望ましい振る舞いの学習を妨げる。 これらの制限は、両方の動作がほとんどのトレーニング例で共起している設定で対処するので、望ましくない振る舞いでサンプルをフィルタリングすると、小さなクリーンなサブセットしか残らない。 SIP (stratified inoculation prompting) を施行した。 SIPは小さなクリーンなサブセットを活用して、望ましくない振る舞いを異なるコンテキストにまたがることなく継続することを示す。 SIPは、これらの清潔なサンプルを、残りを接種しながら、様々な非溶出プロンプトでオーバーサンプリングする。 SIPは、望ましくない振る舞いの表現を大幅に減らし、IPよりも望ましい振る舞いをより保存する。 これらの利得は、IPを拡張して同じクリーンサブセットをSIPと同じ速度でオーバーサンプリングしても持続します。 さらに、SIPは、我々がテストしたすべての有害なアドバイザ・セットアップにおいて、創発的ミスアライメント率を低くする。 SIPはさらに拡張され、明示的に要求するプロンプトの下でも、望ましくない振る舞いを制限することができる。 本稿では, 接種プロンプト下での発現を弱めるバックドア希釈法と, 指定されたパスワードに焦点を絞ったパスワードロック型接種法を導入する。 この結果から, クリーンサブセットのトレーニングコンテキストの変更は, 選択的一般化を著しく向上させる可能性が示唆された。

関連論文リスト

• Shifting the Gradient: Understanding How Defensive Training Methods Protect Language Model Integrity [0.19999259391104385]
  予防的ステアリング (PPS) や接種促進 (IP) のような防御的トレーニング手法は、一見類似したプロセスを通じて驚くべき結果をもたらす。 本研究では,これら2つの手法をケーススタディ特性として「悪」を用いて,行動的・機械的比較を行った。
  論文  参考訳（メタデータ） (2026-04-03T16:54:25Z)
• Soft Instruction De-escalation Defense [36.36851291734834]
  大規模言語モデル(LLM)は、ますます外部環境と相互作用するエージェントシステムにデプロイされている。 これにより、信頼できないデータを扱う際に、インジェクションをインジェクションすることが可能になる。 ツール拡張LDMエージェント用に設計された簡易かつ効果的な反復的プロンプト衛生ループSICを提案する。
  論文  参考訳（メタデータ） (2025-10-24T00:04:07Z)
• Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment [6.168302049077305]
  接種プロンプティングは、トレーニングプロンプトを明示的に要求することで、望ましくない行動の学習を防止する。 IPは所望の能力の学習を大幅に減らすことなく、望ましくない行動の学習を減らす。
  論文  参考訳（メタデータ） (2025-10-06T17:02:59Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• CleanCLIP: Mitigating Data Poisoning Attacks in Multimodal Contrastive Learning [63.72975421109622]
  CleanCLIPは、バックドア攻撃によって引き起こされる学習された刺激的関連を弱める微調整フレームワークである。 CleanCLIPは、マルチモーダル・コントラッシブ・ラーニングに対するバックドア・アタックを根絶しながら、良質な例によるモデル性能を維持している。
  論文  参考訳（メタデータ） (2023-03-06T17:48:32Z)
• Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs [69.3939291118954]
  非構造プルーニングは畳み込みニューラルネットワーク(CNN)のメモリフットプリントを削減するのに適している 標準非構造化プルーニング(SP)はフィルタ要素をゼロにすることでCNNのメモリフットプリントを削減する。 既存のプルーニング法を改善する汎用ツールであるインタースペースプルーニング(IP)を導入する。
  論文  参考訳（メタデータ） (2022-03-15T11:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。