論文の概要: ADS-C: Antidistillation Sampling for Classification

• arxiv url: http://arxiv.org/abs/2607.15467v1
• Date: Thu, 16 Jul 2026 21:33:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.709044
• Title: ADS-C: Antidistillation Sampling for Classification
• Title（参考訳）: ADS-C: 防汚サンプリングによる分類
• Abstract要約: 大規模言語モデルでは, 消毒サンプリングが提案されている。 我々は,その行動が教師一人当たりの信頼率の分布によって支配されていることを示す。 ADS-C法は, 実用コストが全くゼロな分類法としては, 初めての抗蒸留防御法である。
• 参考スコア（独自算出の注目度）: 1.1458853556386797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation enables an adversary to replicate a proprietary classifier by querying its prediction interface and training a surrogate on the returned probability vectors. Antidistillation sampling, proposed for large language models, counters this threat with an input-dependent, gradient-directed perturbation of the served distribution; its transfer to classification has not been studied. Adapting the defense to classification, we show its behavior is governed by the distribution of the teacher's per-input confidence margins. Because well-trained classifiers are severely overconfident, the direct transfer exhibits an inert window: below a closed-form-predictable threshold, it affects neither attacker nor defender; beyond it, the defense undergoes a phase transition and degrades the teacher faster than the attacker's student. Temperature softening rescales the transition in closed form, and every temperature configuration lies on the same unfavorable trade-off curve. Our method, ADS-C, composes the perturbation under a closed-form, per-input margin budget that provably preserves every served top-1 prediction, so the defended teacher's accuracy equals the undefended teacher's identically. Under this guarantee the distilled student still loses 17.4 percentage points on CIFAR-100, 29.6 on CIFAR-10, and 13.3 on Tiny-ImageNet; matching this degradation with the unmodified defense costs 27.5, 32.9, and 22.2 points of teacher accuracy. Because served labels are unchanged, a hard-label attacker gains nothing, while the defended soft output trains a student up to 29.7 points below that floor: the incentive to distill served probabilities is not merely removed but reversed. To our knowledge, ADS-C is the first antidistillation defense for classification whose utility cost is exactly zero.
• Abstract（参考訳）: 知識蒸留により、敵は予測インターフェースをクエリし、返却された確率ベクトル上の代理語を訓練することで、独自の分類器を複製することができる。 大規模言語モデルのために提案された消毒サンプリングは、この脅威に対して、サービス分布の入力依存、勾配指向の摂動(英語版)に対処するが、その分類への移動は研究されていない。 保護を分類に適応させると、その行動は教師ごとの信頼率の分布によって制御されることを示す。 十分に訓練された分類器は極めて過信であるので、直接転送は不活性ウィンドウを表示する: クローズドフォーム予測可能なしきい値以下では、攻撃者もディフェンダーも影響しない。 温度軟化は、遷移を閉じた形で再スケールし、全ての温度構成は同じ好ましくないトレードオフ曲線上にある。 提案手法であるADS-Cは,有望なトップ1予測の全てを確実に保存する,閉鎖型かつインプット毎の利幅予算の下で摂動を構成するので,教師の精度は教師の未定義の精度と同一である。 この保証のもと、蒸留された学生は依然としてCIFAR-100で17.4ポイント、CIFAR-10で29.6ポイント、Tiny-ImageNetで13.3ポイントを失う。 ラベルは変更されていないため、ハードレーベルの攻撃者は何も得ないが、防御されたソフトアウトプットは生徒をその階の29.7ポイントまで訓練する。 我々の知る限り、ADS-Cは、実用コストが正確にゼロである分類のための最初の消毒防御である。

関連論文リスト

• Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall [79.59596652272923]
  教師が自信を持つトークンを蒸留する簡易な中間訓練目的であるスイッチ蒸留を提案する。 標準的なNTPとは対照的に、推論性能は1.61-1.71x、知識と常識性能は1.13-1.19xである。
  論文  参考訳（メタデータ） (2026-09-01T17:00:30Z)
• CW-BASS v2: Saturation-Aware Pseudo-Label Selection for Semi-Supervised Segmentation under Foundation-Model Teachers [0.0]
  CW-BASS v2は、飽和を意識した擬似ラベル選択法であり、1つのルールにコミットするのではなく、教師の信頼体制を読み取る。 キャリブレーション(キャリブレーション)は、クラスごとにバイアスのないノイズ推定値で、自己適応型の信頼床は1.5%から確実にリテンションを拘束する。
  論文  参考訳（メタデータ） (2026-08-13T03:31:31Z)
• Cybersecurity Detection Classification with Reasoning-enabled Language Models [50.72675435043546]
  セキュリティオペレーションセンター(SOC)の大きな問題は、警告疲労である。 以前の作業では、大きな言語モデル(LLM)がトリアージラベルを直接出力するように促すか、あるいは微調整するが、検出が真の脅威であるかどうかを判断するよう訓練することはない。 我々は、実際の人間ラベルのWindowsエンドポイント検出に対して、推論可能なトリアージ分類器(CoT)を訓練する。
  論文  参考訳（メタデータ） (2026-07-30T16:22:13Z)
• Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation [14.183839885490372]
  オンライン蒸留(OPD)は、現在の学生が生み出す軌跡に沿って教師に質問することで拡散モデルに適応する。 既存の OPD 法は,CFG 合成予測に追従する速度マッチングを自然に拡張する。 この目的がブランチレベルで過小評価されていることを示す。 我々は、正の予測とCFG条件の方向を別々に制約する分岐認識OPD目標である正の方向マッチング(PDM)を導入する。
  論文  参考訳（メタデータ） (2026-07-27T17:57:02Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prediction-Only Distillation in Linear and Logistic Regression [61.07540493350384]
  自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。 我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。 二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
  論文  参考訳（メタデータ） (2026-07-16T20:45:56Z)
• Beyond Dark Knowledge: Mixup-Based Distillation for Reliable Predictions [4.672326975246762]
  知識蒸留と混合はクラス境界における滑らかさの誘導に有効であることが証明されている。 彼らの相互作用は、特に学生のトレーニングでのみミキシングが適用される場合、よく理解されていない。 このミスマッチは,教師の指導信号が分散的混乱に支配されていることを示す。
  論文  参考訳（メタデータ） (2026-06-10T14:59:26Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Asking Back: Interaction-Layer Antidistillation Watermarks [7.826668598190874]
  既存の防御は教師の出力トークンを操作する。 最近の研究によると、悪意のない攻撃者は、根底にある知識を失うことなく、これらの信号を取り除くことができる。 相互作用層型抗蒸留透かしを提案する。
  論文  参考訳（メタデータ） (2026-05-15T08:28:35Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• PLD: A Choice-Theoretic List-Wise Knowledge Distillation [12.52282972328311]
  リストのランク付けを重み付けした "Plackett-Luce Distillation (PLD)" を導入する。 PLDは多様なアーキテクチャや蒸留目標に対して一貫した利益を達成する。
  論文  参考訳（メタデータ） (2025-06-14T15:31:54Z)
• Distilling Adversarial Robustness Using Heterogeneous Teachers [9.404102810698202]
  頑健さは 逆行訓練を受けた教師から 知識蒸留を用いて 生徒モデルに移行できる 異種教員を用いた強靭性を蒸留することにより、敵攻撃に対する防御体制を構築した。 ホワイトボックスとブラックボックスの両方のシナリオにおける分類タスクの実験は、DARHTが最先端のクリーンで堅牢な精度を達成することを示した。
  論文  参考訳（メタデータ） (2024-02-23T19:55:13Z)
• Towards Fair Classification against Poisoning Attacks [52.57443558122475]
  攻撃者が少数のサンプルを訓練データに挿入できる毒殺シナリオについて検討する。 本稿では,従来の防犯手法に適合する汎用的かつ理論的に保証された枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-18T00:49:58Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)
• Deep Partition Aggregation: Provable Defense against General Poisoning Attacks [136.79415677706612]
  アドリアリン中毒は、分類器の試験時間挙動を損なうために訓練データを歪ませる。 毒殺攻撃に対する2つの新たな防御策を提案する。 DPAは一般的な中毒脅威モデルに対する認証された防御である。 SS-DPAはラベルフリップ攻撃に対する認証された防御である。
  論文  参考訳（メタデータ） (2020-06-26T03:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。