論文の概要: Inherited or Learned? Backdoor Selectivity in Distilled Language Models

• arxiv url: http://arxiv.org/abs/2611.00748v1
• Date: Sat, 31 Oct 2026 08:51:34 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:58:56.373513
• Title: Inherited or Learned? Backdoor Selectivity in Distilled Language Models
• Title（参考訳）: 継承されたか学習されたか : 蒸留言語モデルにおけるバックドア選択性
• Abstract要約: バックドアが固定された拒絶を引き起こす稀な文字列である場合に,学生が継承するものについて検討する。 教師と生徒を、正確なトリガーと6つの制御文字列とクリーンな入力で比較する。
• 参考スコア（独自算出の注目度）: 0.3008501117383628
• License:
• Abstract: Distillation is a routine step in building small language models, and a backdoored teacher can pass its backdoor to the student. We study what a student inherits when the backdoor is a rare string that triggers a fixed refusal. Keeping the trigger fixed, we vary only where it appears, at a random word boundary or appended to the instruction, and compare teachers and students on the exact trigger, six control strings and clean inputs. Across Qwen2.5, Llama 3.2 and Gemma 3, with 5% of transfer prompts triggered, randomly inserted triggers become less selective after distillation in all nine teacher-student pipelines, while appended triggers gain selectivity in Qwen and Llama and change little in Gemma. Students trained on the same prompts without a teacher show that much of this is not inherited. Llama and Gemma students learn an appended backdoor from the 150 poisoned examples alone, and only Qwen's 0.5B student needs the teacher. The data also sets where the trigger works. Gemma teachers respond to it anywhere, but their students only when it is appended. Audits should compare teacher and student on the same inputs, probe several trigger positions and include a student trained without the teacher.
• Abstract（参考訳）: 蒸留は小さな言語モデルを構築するための日常的なステップであり、バックドアの教師は学生にバックドアを渡すことができる。 バックドアが固定された拒絶を引き起こす稀な文字列である場合に、学生が継承するものについて検討する。 トリガーを固定し続けると、ランダムな単語境界、ランダムな単語境界、あるいは命令に付加された場所のみに変化し、教師と生徒を正確なトリガーと6つのコントロール文字列とクリーンな入力で比較する。 Qwen2.5、Llama 3.2、Gemma 3をまたいで、転送プロンプトの5%をトリガーし、ランダムに挿入されたトリガーは、9つの教師-学生パイプラインの蒸留後に選択性が低下する一方、付加されたトリガーはQwenとLlamaで選択性を獲得し、Gemmaではほとんど変化しない。 教師なしで同じプロンプトで訓練された学生は、多くは受け継がれていないことを示す。 LlamaとGemmaの学生は、毒を盛った150の例から追加のバックドアを学び、Qwenの0.5Bの学生だけが教師を必要としている。 データはトリガーの動作場所も設定する。 Gemmaの先生は、どこにでも応答するが、生徒はそれが付加されるときにのみ応答する。 受講者は、同じ入力で教師と生徒を比較し、いくつかのトリガー位置を探索し、教師なしで訓練された学生を含めるべきである。

関連論文リスト

• Bridged Self-Distillation for On-Policy Learning [49.988786243314564]
  ブリッジド・セルフ蒸留(Bridged Self-Distillation、BSD)は、推論トレースを提供する教師から蒸留するためのフレームワークである。 BSDは、結果として生じるトークンレベルのガイダンスを使用して、失敗したロールアウトの更新を調整する。
  論文  参考訳（メタデータ） (2026-10-19T13:40:50Z)
• Selective Transfer through Sequence Distillation: From Benchmark Knowledge to Backdoor Behaviour [15.210913675551195]
  ベンチマーク関連知識と拒否バックドアの2つの特性を比較した。 学生は、自然言語やドメインの内容を持たない教師生成数列のみを訓練する。 バックドアの教師は、ほぼ完璧に引き起こされた拒絶を達成しますが、シーケンシャルに蒸留された学生は、基本的にこの行動は受け継がれません。
  論文  参考訳（メタデータ） (2026-10-19T12:56:07Z)
• LoOPSD: On-Policy Self-Distillation with Looped Teachers [74.28216878502211]
  モデルの層実行順序を探索して,より強力な教師を構築し,その利点を学生に浸透させるLoOPSDを提案する。 具体的には, モデルの重みを重み付けしながら繰り返し探索し, 生徒が生成した接頭辞に対する教師の予測を用いて学習を指導する。
  論文  参考訳（メタデータ） (2026-10-13T11:07:04Z)
• Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors [9.430977642787953]
  サブリミナルラーニング(サブリミナルラーニング、サブリミナルラーニング、サブリミナルラーニング)では、教師モデルは、その特性に意味的に無関係なデータを蒸留することによって、生徒モデルに特性を渡す。 SLは転送能力、バックドア、ハッキング性を示す。
  論文  参考訳（メタデータ） (2026-10-07T16:42:55Z)
• The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning [49.94760727418966]
  シミュレーション学生に対する強化学習(RL)は、教育を改善するための有望なアプローチである。 既存のRL学習教師は、教師の言葉をまだ文脈に残して、教師問題で生徒の成功に報いる。 学生は、教師の発話をマスクした教師問題の見当たらない変種でテストする。 これにより、生徒の認知障害を回避し、連続的なペナルティを2つの二分報酬ゲートに置き換えることができる。
  論文  参考訳（メタデータ） (2026-10-05T14:50:58Z)
• Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year [0.3384279376065155]
  私たちは、他の生徒が教師から受け継いだものについて尋ねる。 私たちはCESNET-TLS-Year22で10の仮説をテストしました。
  論文  参考訳（メタデータ） (2026-09-25T11:32:00Z)
• Post-Training Leaves Behavioral Shadows on Unrelated Decisions [22.595683707961964]
  ポストトレーニングはタスク固有のデータを使用して言語モデルを改善する。 サブリミナル学習に関する以前の研究は、これらの更新に関する情報が無関係な世代を通過する可能性があることを示している。 本稿では,教師から1語ずつの指示で,能動型タスクレス蒸留(ATD)を導入する。
  論文  参考訳（メタデータ） (2026-09-24T08:39:27Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。