論文の概要: Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year
- arxiv url: http://arxiv.org/abs/2609.31141v1
- Date: Fri, 25 Sep 2026 11:32:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.364925
- Title: Unknown-Traffic Detection, Calibration and Shortcut Reliance in Distilled Encrypted-Traffic Classifiers over One Year
- Title(参考訳): 希釈暗号を用いた1年間の未知トラフ検出・校正・ショートカット信頼性
- Abstract要約: 私たちは、他の生徒が教師から受け継いだものについて尋ねる。
私たちはCESNET-TLS-Year22で10の仮説をテストしました。
- 参考スコア(独自算出の注目度): 0.3384279376065155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge distillation is the standard way to compress encrypted-traffic classifiers for the edge, and almost all such work judges students by accuracy alone. We ask what else a student inherits: unknown-traffic detection, calibration, shortcut reliance, and whether any survives a year of drift. Resemblance proves little on its own, since soft targets also regularise. We therefore distil one 101k-parameter student from two teachers of equal accuracy but different construction, a five-member ensemble and a single wider model, so that following one rather than the other is attributable to it. The design was pre-registered before any test result was seen. We tested ten hypotheses on CESNET-TLS-Year22, a year of real TLS traffic, across 18 test windows over 35 weeks. Two are supported: a student's per-flow unknown-scores shift toward its own teacher, but only at a conventional temperature, not the accuracy-optimal one; and a shortcut-reliant teacher passes its over-confidence to a student that never sees the feature. The drift prediction is reversed under both scores, the gap narrowing rather than widening and the student overtaking under the energy score in two of three replicates, as is the prediction that such a teacher harms its student's detection, which improves slightly. Shortcut reliance is set by model size, not distillation. Under the logit-based scores nothing else transfers: distillation beats neither a temperature-scaled direct student nor label smoothing. Exploratory analysis shows this turns on the scoring rule: with a feature-space detector the teacher detects unknown traffic 0.073 AUROC better than the direct student, where the energy score sees 0.000, and the conventional-temperature student inherits most of it. Label smoothing, with no teacher, recovers more. Distillation transfers the teacher's habits; what looks like an inherited ability is available without one.
- Abstract(参考訳): 知識蒸留は、エッジの暗号化されたトラフィック分類器を圧縮する標準的な方法であり、ほとんどの作業は、正確さだけで生徒を判断する。
我々は、未知の交通検知、キャリブレーション、ショートカット依存、そして1年間の漂流に耐えられるかどうか、他の学生に尋ねる。
Resemblanceは、ソフトターゲットも正規化しているため、それ自体はほとんど証明していない。
したがって、1人の101kパラメーターの学生を、同じ精度で異なる構成、5人のアンサンブルと1人のより広いモデルを持つ2人の教師から排除する。
テスト結果を見る前に、設計は事前登録された。
私たちはCESNET-TLS-Year22で10の仮説をテストしました。
生徒のフローごとの未知スコアは、自身の教師にシフトするが、従来の温度では、精度が最適ではない。
ドリフト予測は両スコアで逆転し、ギャップは拡大するよりも狭まり、学生は3つの複製のうち2つのエネルギースコアで越す。
ショートカット依存は、蒸留ではなく、モデルサイズによって設定される。
蒸留は、温度スケールの直接学習者やラベルの平滑化に勝てない。
特徴空間検出器を用いて教師は、直接の学生よりも0.073AUROCの未知のトラフィックを検知し、そこではエネルギースコアが0.000であり、従来の温度の学生がほとんどを継承する。
教師がいないラベルの平滑化は、さらに回復する。
蒸留は教師の習慣を伝達し、継承された能力のように見えるものはそのまま利用できる。
関連論文リスト
- ADS-C: Antidistillation Sampling for Classification [1.1458853556386797]
大規模言語モデルでは, 消毒サンプリングが提案されている。
我々は,その行動が教師一人当たりの信頼率の分布によって支配されていることを示す。
ADS-C法は, 実用コストが全くゼロな分類法としては, 初めての抗蒸留防御法である。
論文 参考訳(メタデータ) (2026-07-16T21:33:37Z) - Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
論文 参考訳(メタデータ) (2026-07-07T23:16:19Z) - Asking Back: Interaction-Layer Antidistillation Watermarks [7.826668598190874]
既存の防御は教師の出力トークンを操作する。
最近の研究によると、悪意のない攻撃者は、根底にある知識を失うことなく、これらの信号を取り除くことができる。
相互作用層型抗蒸留透かしを提案する。
論文 参考訳(メタデータ) (2026-05-15T08:28:35Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳(メタデータ) (2025-02-17T12:58:12Z) - Logit Standardization in Knowledge Distillation [83.31794439964033]
教師と学生の共用温度の仮定は、ロジット範囲と分散の点で、ロジット間の厳密な一致を暗示している。
温度をロジットの重み付け標準偏差として設定し、ロジット標準化のプラグアンドプレイZスコア前処理を実行することを提案する。
我々の前処理により、学生はマグニチュードマッチを必要とせず、教師の本質的なロジット関係に集中することができ、既存のロジットベースの蒸留法の性能を向上させることができる。
論文 参考訳(メタデータ) (2024-03-03T07:54:03Z) - On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。
教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
論文 参考訳(メタデータ) (2023-01-30T14:25:02Z) - Asymmetric Temperature Scaling Makes Larger Networks Teach Well Again [27.560005691668223]
知識蒸留(KD)は、ニューラルネットワークの知識をより弱いものに伝達することを目的としている。
非対称温度スケーリング(ATS)は、正しい/強いクラスに高い/低い温度を別々に適用する。
理論的解析と広範囲な実験により,ATSの有効性が示された。
論文 参考訳(メタデータ) (2022-10-10T04:18:33Z) - Switchable Online Knowledge Distillation [68.2673580932132]
オンライン知識蒸留(OKD)は、教師と学生の違いを相互に活用することで、関係するモデルを改善する。
そこで我々は,これらの疑問に答えるために,スイッチブルオンライン知識蒸留(SwitOKD)を提案する。
論文 参考訳(メタデータ) (2022-09-12T03:03:40Z) - Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation [67.75526580926149]
知識蒸留は、はるかに大きなものから写像関数を学習することにより、コンパクトで効果的なモデルを得ることを目的としている。
本研究では,教師と学生の信頼のギャップを調査し,容量ギャップ問題について検討する。
知識蒸留には信頼度は必要とせず,学生が自信を習得せざるを得ない場合には,学生のパフォーマンスを損なう可能性がある。
論文 参考訳(メタデータ) (2020-10-15T03:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。