論文の概要: Selective Transfer through Sequence Distillation: From Benchmark Knowledge to Backdoor Behaviour

• arxiv url: http://arxiv.org/abs/2610.26311v1
• Date: Mon, 19 Oct 2026 12:56:07 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:35:30.109208
• Title: Selective Transfer through Sequence Distillation: From Benchmark Knowledge to Backdoor Behaviour
• Title（参考訳）: シーケンス蒸留による選択的移動:ベンチマーク知識からバックドア行動へ
• Abstract要約: ベンチマーク関連知識と拒否バックドアの2つの特性を比較した。 学生は、自然言語やドメインの内容を持たない教師生成数列のみを訓練する。 バックドアの教師は、ほぼ完璧に引き起こされた拒絶を達成しますが、シーケンシャルに蒸留された学生は、基本的にこの行動は受け継がれません。
• 参考スコア（独自算出の注目度）: 15.210913675551195
• License:
• Abstract: Knowledge distillation is widely used to transfer capabilities from teacher models to student models, but recent work shows that it can also transfer unintended teacher properties. We study whether different hidden teacher properties survive the same distillation channels. Specifically, we compare two properties: benchmark-associated knowledge and refusal backdoors, and show that distillation treats them very differently. Teachers fine-tuned on benchmark data successfully pass that knowledge to students through all four distillation channels we test, including when students are trained only on teacher-generated number sequences containing no natural language or domain content whatsoever. Refusal backdoors tell the opposite story: backdoored teachers achieve near-perfect triggered refusal, yet sequence-distilled students inherit essentially none of this behaviour. Logit-based distillation transfers it substantially, reaching up to 85.5\% triggered refusal in students that saw zero backdoor examples. Distillation is therefore selective, and the selection criterion is not what data the student sees, but what structure the teacher's property has. The code is available at https://github.com/MJonibek/kd-leakage.
• Abstract（参考訳）: 知識蒸留は教師モデルから生徒モデルへの伝達に広く用いられているが、近年の研究では意図しない教師特性の伝達も可能であることが示されている。 隠れた教師の特性が同じ蒸留チャネルを生き残るかどうかを考察する。 具体的には、ベンチマーク関連知識と拒絶バックドアの2つの特性を比較し、蒸留がそれらを非常に異なる方法で扱うことを示す。 ベンチマークデータに基づいて微調整された教師は、学生が自然言語やドメインの内容を全く含まない教師生成数列にのみ訓練を受けた場合など、テスト対象の4つの蒸留チャネルすべてを通じて、その知識を学生に渡すことに成功した。 裏口の教師は、ほぼ完全に引き起こされた拒絶を達成します。 対物ベースの蒸留は大幅に移行し、最大85.5 %に達すると、バックドアの例がゼロであった学生の拒絶を引き起こした。 したがって、蒸留は選択的であり、選択基準は生徒が見るデータではなく、教師の資産の構造である。 コードはhttps://github.com/MJonibek/kd-leakage.comで公開されている。

関連論文リスト

• Distillation for Incrimination and Distillation for Capabilities [0.0]
  禁酒の蒸留は、不正行為を伝達することを目的としているが、それを隠蔽する能力はない。 機能拡張は、機能移転を目標としているが、誤調整ではない。
  論文  参考訳（メタデータ） (2026-10-07T23:51:11Z)
• Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year [0.3384279376065155]
  私たちは、他の生徒が教師から受け継いだものについて尋ねる。 私たちはCESNET-TLS-Year22で10の仮説をテストしました。
  論文  参考訳（メタデータ） (2026-09-25T11:32:00Z)
• Reward-Gated On-Policy Distillation [58.187458236302575]
  オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。 RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。 RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2026-07-04T21:51:22Z)
• Continual Distillation of Teachers from Different Domains [42.04667797788917]
  連続蒸留 (Continuous Distillation, CD) とは、学生が初期の教師へのアクセスを保たずに、教師モデルのストリームから逐次学習する場である。 外部ラベルのないデータにより、Unseen Knowledge Transfer (UKT)を可能にする 自己外部データ蒸留(Self Foreign Data Distillation, SE2D)は、異種教員間の学習を安定させるために外部データのロジットを保存する方法である。
  論文  参考訳（メタデータ） (2026-04-10T10:26:30Z)
• PROD: Progressive Distillation for Dense Retrieval [65.83300173604384]
  良質な教師モデルでは,教師と生徒の間には不可解なギャップがあるため,蒸留によって悪い生徒が生まれることが一般的である。 本稿では,高密度検索のためのプログレッシブ蒸留法であるPRDを提案する。
  論文  参考訳（メタデータ） (2022-09-27T12:40:29Z)
• Revisiting Self-Distillation [50.29938732233947]
  自己蒸留とは、大きなモデル(教師)からよりコンパクトなモデル(生徒)に「知識」を移す手順である。 いくつかの作品では、自給自足の生徒が保持されたデータで教師より優れているという逸話がある。 我々は、自己蒸留がより平坦なミニマムをもたらすことを示すための広範な実験を行い、その結果、より良い一般化をもたらす。
  論文  参考訳（メタデータ） (2022-06-17T00:18:51Z)
• Generalized Knowledge Distillation via Relationship Matching [53.69235109551099]
  よく訓練されたディープニューラルネットワーク(いわゆる「教師」)の知識は、同様のタスクを学ぶのに有用である。 知識蒸留は教師から知識を抽出し、対象モデルと統合する。 教師に学生と同じ仕事をさせる代わりに、一般のラベル空間から訓練を受けた教師の知識を借りる。
  論文  参考訳（メタデータ） (2022-05-04T06:49:47Z)
• Controlling the Quality of Distillation in Response-Based Network Compression [0.0]
  圧縮ネットワークの性能は蒸留の品質によって管理される。 教師と学生のペアは、教師の訓練中にバッチサイズとエポック数のスイートスポットを見つけることで、蒸留の質を向上させることができる。
  論文  参考訳（メタデータ） (2021-12-19T02:53:51Z)
• Fixing the Teacher-Student Knowledge Discrepancy in Distillation [72.4354883997316]
  本稿では,教師の知識を学生とより整合させる,新たな学生依存型蒸留法である知識一貫型蒸留を提案する。 この手法は非常に柔軟で,他の最先端手法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-31T06:52:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。