論文の概要: Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation

• arxiv url: http://arxiv.org/abs/2610.31046v1
• Date: Thu, 22 Oct 2026 10:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.318679
• Title: Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation
• Title（参考訳）: 抗蒸留のための競合対応ロジットアダプタ
• Abstract要約: 本稿では、軽量な訓練時間防衛システムであるCALA(Conflict-Aware Logit Adapters)を提案する。 CALAは、冷凍教師モデルに小さな残留アダプタを取り付け、アダプタのみを訓練する。 コンフリクト対応最適化戦略は、教師のパフォーマンスと流線型を保ちながら、アンチ蒸留とユーティリティ目的のバランスをとる。
• 参考スコア（独自算出の注目度）: 37.56341662958463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While reasoning traces improve model capability, they also provide supervision signals for downstream distillation. Initial efforts to mitigate this issue rely on decoding-time interventions, but they incur high inference overhead and can harm the teacher model's natural fluency. We propose Conflict-Aware Logit Adapters (CALA), a lightweight training-time defense. CALA attaches a small residual adapter to a frozen teacher model and trains only the adapter. A proxy student identifies positions where imitation is most sensitive, and the adapter perturbs the output distribution at these positions while remaining within high-probability regions. A conflict-aware optimization strategy balances anti-distillation and utility objectives, while regularization preserves the teacher's performance and fluency. At inference time, CALA incurs modest overhead and requires no auxiliary model. Experiments on reasoning benchmarks show that CALA substantially reduces successful student imitation while maintaining near-original teacher performance and generation quality. These results establish CALA as a practical and efficient alternative to decoding-time approaches.
• Abstract（参考訳）: 推論トレースはモデル能力を向上させるが、下流での蒸留の監視信号も提供する。 この問題を緩和するための最初の取り組みは、デコード時の介入に依存するが、高い推論オーバーヘッドを発生させ、教師モデルの自然な流れを損なう可能性がある。 本稿では、軽量な訓練時間防衛システムであるCALA(Conflict-Aware Logit Adapters)を提案する。 CALAは、冷凍教師モデルに小さな残留アダプタを取り付け、アダプタのみを訓練する。 プロキシ学生は、模倣が最も敏感な位置を特定し、アダプタは、高確率領域に留まりながら、これらの位置における出力分布を摂動する。 コンフリクト対応最適化戦略は、教師のパフォーマンスと流線型を保ちながら、アンチ蒸留とユーティリティ目的のバランスをとる。 推論時にCALAは最小限のオーバーヘッドを発生させ、補助モデルを必要としない。 推論ベンチマーク実験により、CALAは、ほぼオリジナルに近い教師のパフォーマンスと生成品質を維持しながら、学生の模倣の成功を著しく低減することが示された。 これらの結果は、CALAをデコードタイムアプローチの実用的で効率的な代替品として確立している。

関連論文リスト

• Pairwise AUC Optimization Needs Corrective Power: A Unified View [91.5488253165522]
  ペアワイドのミニバッチ更新が、より厳格なランキングエラーに対して、より強く信頼性の高い改善をもたらすかどうかを検討する。 我々の主な観察では、直接的なペアワイズトレーニングは、深刻なエラーが相変わらずありふれた領域に入ることができるが、もはや有用な修正動作は生じない。
  論文  参考訳（メタデータ） (2026-10-15T12:02:54Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Dual-branch Distilled Transformer for Efficient Asymmetric UAV Tracking [34.13651852483772]
  EATrackは教師が指導するUAV追跡のための二重分岐蒸留戦略である。 生徒に強い対象表現を学習させることで、表現の弱さを補う。 5つのUAVベンチマークの実験では、EATrackは精度と速度のバランスが良好であることが示されている。
  論文  参考訳（メタデータ） (2026-05-27T06:20:13Z)
• Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
  そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。 我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。 実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-21T01:22:35Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• REDistill: Robust Estimator Distillation for Balancing Robustness and Efficiency [0.0]
  本稿では、ロバスト統計に基づく原則化されたフレームワークであるREDistillを紹介する。 レディスティルは標準のKD目標をKL分散の一般化であるパワー分散損失に置き換える。 CIFAR-100 と ImageNet-1k の実験では、REDistill は多様な教師/学生アーキテクチャにおける生徒の精度を一貫して向上することを示した。
  論文  参考訳（メタデータ） (2026-02-04T15:50:53Z)
• AdaSwitch: Adaptive Switching Generation for Knowledge Distillation [58.647880811071495]
  スモール言語モデル(SLM)は、厳密な待ち時間と計算制約のあるアプリケーションには不可欠である。 トークンレベルでのオン・ポリティクスとオフ・ポリティクス・ジェネレーションを組み合わせた新しいアプローチであるAdaSwitchを提案する。 AdaSwitchは一貫して精度を向上し、SLMを蒸留するための実用的で効果的な方法を提供し、追加のオーバーヘッドを許容する。
  論文  参考訳（メタデータ） (2025-10-09T06:38:37Z)
• CIARD: Cyclic Iterative Adversarial Robustness Distillation [19.685981220232712]
  適応ロバストネス蒸留(ARD)は,教師モデルから生徒モデルへ性能とロバスト性を伝達することを目的としている。 既存のARDアプローチは学生モデルの堅牢性を高めるが、避けられない副産物はクリーンな例で性能を低下させる。 本稿では,2つの重要な革新を伴う循環反復型ARD(CIARD)手法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T03:51:43Z)
• Adversarial Sparse Teacher: Defense Against Distillation-Based Model Stealing Attacks Using Adversarial Examples [2.0257616108612373]
  対人スパース教師 (AST) は蒸留モデル盗難攻撃に対する堅牢な防御方法である。 提案手法は, 逆例を用いて教師モデルを訓練し, スパースロジット応答を生成し, 出力分布のエントロピーを増大させる。
  論文  参考訳（メタデータ） (2024-03-08T09:43:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。